SPECTRA Abilita Capacità Agenti Senza Supervisione per Piccoli Modelli Visione-Linguaggio

Un nuovo framework chiamato Self-supervised Perception Enabled by Cascaded Tool Rollout Alignment (SPECTRA) è stato introdotto per affrontare la fragilità visiva e la scarsa orchestrazione degli strumenti nei Piccoli Modelli Visione-Linguaggio (SVLM). SPECTRA avvia capacità agenti attraverso il Coldstart Reinforcement Learning, eliminando la necessità di costose regolazioni di traiettoria supervisionate. Il framework impiega Soft Structured Multi-turn Rollouts, un vincolo topologico che richiede agli agenti di sequenziare le evidenze derivate dagli strumenti prima della sintesi, ancorando efficacemente il ragionamento alle osservazioni visive. Un segnale di ricompensa multi-obiettivo massimizza simultaneamente la correttezza del compito, la struttura del rollout e l'utilità degli strumenti, consentendo agli agenti di autoscoprire comportamenti robusti senza etichette di preferenza umana. La ricerca introduce anche Tool Instrumental Utility (TIU), una nuova metrica per quantificare l'efficacia degli strumenti. Questo lavoro, dettagliato nella preprint arXiv 2604.17475v1, rappresenta un significativo avanzamento nella riduzione della dipendenza da dati etichettati umanamente per l'addestramento degli SVLM.