SiPhy: Framework per il Ragionamento sulle Proprietà Fisiche da Singola Immagine

Un nuovo framework chiamato SiPhy è stato sviluppato da ricercatori per dedurre caratteristiche fisiche come massa, rigidità ed elasticità da una singola immagine RGB. A differenza dei metodi tradizionali che dipendono dalla ricostruzione multi-vista o da linee guida basate sulla fisica, SiPhy integra informazioni visive 3D e profondità con conoscenze sui materiali derivate da modelli linguistici. Genera punti pseudo-voxel, recupera caratteristiche CLIP e le allinea con le opzioni di materiale suggerite da un modello visione-linguaggio (VLM). Un aggregatore contrastivo basato su parti garantisce coerenza tra le regioni, mentre un raffinamento sensibile alla pesantezza migliora l'accuratezza delle stime di spessore e volume per oggetti densi. SiPhy stabilisce un nuovo punto di riferimento nelle prestazioni su singola immagine su ABO-500, MVImgNet-100 e PhysXNet-100, superando i metodi multi-vista migliorando il MnRE della massa fino al 93% (rispetto a PUGS) e riducendo il MAE della densità del 35,5% (rispetto a NeRF2Physics).