Selezione Basata su Perturbazioni: Un Nuovo Approccio al Test-Time Scaling per Modelli Visione-Linguaggio

Un nuovo studio disponibile su arXiv (2608.01207) esamina le ragioni alla base delle prestazioni inferiori del test-time scaling, un metodo che migliora il ragionamento nei grandi modelli linguistici campionando e selezionando tra varie soluzioni candidate, quando utilizzato con modelli visione-linguaggio (VLM). Risultati precedenti suggerivano che il voto di maggioranza semplice è più efficace dei metodi di selezione basati sull'autoverifica del modello, poiché le risposte basate su immagini e le ipotesi sicure derivate da prior linguistici sono spesso indistinguibili nella fase di selezione. Per affrontare questo problema, gli autori introducono la Selezione Basata su Perturbazioni (Pgs), un approccio senza etichette e senza addestramento che valuta i candidati in base alla loro ri-derivazione sotto perturbazioni di input come ritaglio o lieve jitter. Quando non vengono applicate perturbazioni, Pgs ricade sul voto di maggioranza. L'articolo indaga se Pgs supera il voto di maggioranza con catena di pensiero, fornendo probabilmente evidenze empiriche. Questa ricerca fa avanzare il campo del miglioramento del ragionamento nei VLM.