Video Internet Non Etichettati Migliorano la Comprensione di Scene 3D

I ricercatori dimostrano che video non etichettati provenienti da internet possono essere elaborati automaticamente per generare dati di addestramento per modelli di comprensione di scene 3D. L'approccio, descritto in arXiv:2604.01907, utilizza un motore dati attentamente progettato per curare video web e produrre annotazioni per compiti come rilevamento di oggetti 3D, segmentazione di istanze, VQA spaziale e navigazione visione-linguaggio. I modelli addestrati su questi dati sintetici mostrano una forte performance zero-shot, riducendo la dipendenza da costosi e scarsi dataset 3D annotati da umani. Lo studio identifica i fattori chiave nella generazione automatica dei dati che influenzano l'efficienza dell'apprendimento.