MM-R2: Pianificazione Agentica per il Recupero Multimodale
Un nuovo framework chiamato MM-R2 affronta le limitazioni nella generazione aumentata da recupero multimodale (mRAG) introducendo una pianificazione agentica prima del recupero. I sistemi mRAG esistenti lottano con obiettivi di recupero sotto-specificati e spazi di ricerca debolmente strutturati. MM-R2 costruisce uno stato di recupero basato sull'intento a partire da coppie immagine-domanda e recupera su un KnowledgeMap strutturato, dove l'agente seleziona unità pertinenti prima di emettere query. Il lavoro è dettagliato nell'articolo arXiv 2607.22643.
Fatti principali
- MM-R2 è un framework di recupero agentico multimodale.
- Ragiona prima del recupero modellando cosa recuperare e dove cercare.
- Costruisce uno stato di recupero basato sull'intento dalla coppia immagine-domanda.
- Il recupero avviene su un KnowledgeMap strutturato.
- L'agente seleziona unità di recupero pertinenti prima di emettere query.
- L'articolo è su arXiv con ID 2607.22643.
- I sistemi mRAG esistenti recuperano direttamente da input multimodali grezzi su uno spazio di evidenza piatto.
- Due sfide chiave: obiettivo di recupero sotto-specificato e spazio di ricerca debolmente strutturato.
Entità
Istituzioni
- arXiv