L'aggregazione Visual RAG perde dettagli chiave nei documenti finanziari
Uno studio su arXiv (2605.14581) indaga se l'aggregazione dei token di patch visive in un singolo vettore per il Visual RAG nei documenti finanziari causi perdita di informazioni. I ricercatori hanno sviluppato un benchmark diagnostico in cui piccole modifiche alle cifre creano cambiamenti semantici. Gli esperimenti mostrano che l'aggregazione in un singolo vettore collassa documenti distinti in vettori quasi identici, mentre il rilevamento a livello di patch preserva i cambiamenti. La dominanza della texture globale è identificata come causa principale. I risultati sono coerenti tra diverse scale di modelli e embedding ottimizzati per il recupero.
Fatti principali
- 1. Lo studio su arXiv:2605.14581 esamina le strategie di aggregazione per il Visual RAG nei documenti finanziari.
- 2. Il Visual RAG tratta i documenti come immagini e utilizza encoder visivi per ottenere token di patch.
- 3. Centinaia di token di patch per documento creano sfide di recupero e archiviazione.
- 4. L'aggregazione in un singolo vettore collassa documenti diversi con vettori quasi identici.
- 5. Il rilevamento a livello di patch preserva i cambiamenti semantici da minori alterazioni delle cifre.
- 6. La dominanza della texture globale è la causa principale della perdita di informazioni.
- 7. I risultati sono coerenti tra diverse scale di modelli e embedding ottimizzati per il recupero.
- 8. Lo studio propone un benchmark diagnostico per il recupero di documenti finanziari.
Entità
Istituzioni
- arXiv