PRISM-VL: Ancorare i Modelli Visione-Linguaggio ai Dati Sensoriali RAW

Esiste questo nuovo interessante metodo chiamato PRISM-VL che sta cambiando il modo in cui funziona l'apprendimento visione-linguaggio. Invece di basarsi su immagini RGB processate, utilizza le misurazioni originali della fotocamera per ottenere dati sensoriali più chiari. Questo approccio combina input Meas.-XYZ derivati da RAW, si adatta a diverse fotocamere e impiega l'Exposure-Bracketed Supervision Aggregation, concentrandosi sulle misurazioni piuttosto che sulle immagini RGB. È stato addestrato su un dataset di 150.000 istruzioni e testato in condizioni difficili come scarsa illuminazione e HDR. Il modello PRISM-VL-8B ha ottenuto un BLEU di 0,6120, un ROUGE-L di 0,4571 e un'accuratezza dell'82,66%, superando il modello basato su RGB Qwen3-VL-8B con margini notevoli. Ciò dimostra come i metodi incentrati sulle misurazioni possano migliorare le prestazioni in contesti visivi complessi.