SAM 3D Animal: Prima ricostruzione 3D multi-animale promptabile da una singola immagine

I ricercatori hanno sviluppato SAM 3D Animal, il primo framework promptabile in grado di ricostruire più animali in 3D da una singola immagine. Basato sul modello parametrico SMAL+, gestisce occlusioni e scene affollate utilizzando keypoint e maschere come prompt flessibili. Per addestrare il modello, il team ha creato Herd3D, un dataset 3D multi-animale con oltre 5.000 immagini che presentano diverse specie, interazioni e pattern di occlusione. Il framework raggiunge risultati all'avanguardia sui dataset Animal3D, APTv2 e Animal Kingdom, superando sia i metodi basati su modelli che quelli senza modelli. Questo lavoro colma una lacuna critica nella ricostruzione 3D di animali, che in precedenza si concentrava su scenari con un singolo animale.