IMPACT-CYCLE: Sistema Multi-Agente per la Correzione di Errori in Video Lunghi

I ricercatori hanno creato un nuovo sistema chiamato IMPACT-CYCLE volto a migliorare la comprensione di video lunghi consentendo correzioni a livello di affermazione. Questa innovazione affronta gli alti costi di correzione degli errori nei sistemi multimodali esistenti, che spesso producono risultati vaghi, costringendo gli annotatori a setacciare il video grezzo per ricostruire la sequenza temporale. IMPACT-CYCLE affronta la comprensione di video lunghi come un processo di mantenimento di una memoria semantica condivisa che include uno stato dettagliato e versionato con affermazioni tipizzate, un grafico che mostra le dipendenze delle affermazioni e un registro di provenienza. Impiega agenti specializzati che operano sotto contratti specifici, concentrandosi sulla verifica delle relazioni locali tra oggetti, garantendo la coerenza temporale e mantenendo la chiarezza semantica complessiva. Le correzioni mirano solo alle aree strutturali rilevanti per ottimizzare lo sforzo umano in base agli errori identificati. Lo studio è disponibile su arXiv con identificatore 2604.20136.