I modelli di previsione latente superano in robustezza come modelli del mondo

Un recente preprint su arXiv presenta il primo esame completo dei modelli video foundation come modelli del mondo, concentrandosi su cinque assi di robustezza. Questa ricerca valuta quattro modelli all'avanguardia con capacità corrispondenti: V-JEPA 2.1, V-JEPA 2, VideoPrism e VideoMAEv2. I risultati rivelano che i modelli a previsione latente, in particolare le varianti V-JEPA, eccellono costantemente in aree come la discriminabilità delle caratteristiche, la resilienza alla corruzione, la discriminazione a grana fine, la robustezza all'occlusione e la sensibilità alla direzione temporale. Questi modelli mostrano un declino più graduale delle prestazioni sotto corruzione dei pixel, mantengono la struttura delle classi durante l'occlusione e catturano efficacemente sottili indizi di contatto fisico. Questo studio colma una lacuna cruciale valutando le prestazioni oltre la semplice accuratezza top-1 su benchmark puliti.