HAM-RAG: Un Nuovo Framework per la Generazione Multimodale Fedele alla Struttura

Uno studio recente presenta HAM-RAG, un framework RAG multimodale consapevole della gerarchia, volto a migliorare la generazione interlacciata che preserva la struttura. Questo framework affronta un notevole difetto degli attuali approcci RAG multimodali, che tipicamente riducono i documenti strutturati a componenti separate di testo e immagine, compromettendo l'integrità dell'organizzazione della fonte e la necessaria coerenza locale testo-immagine per una selezione e un posizionamento accurati delle evidenze. Utilizzando la gerarchia del documento come segnale di ancoraggio sia per il recupero che per la generazione, HAM-RAG mantiene la posizione della fonte e le relazioni locali testo-immagine nel prompt, contestualizzando le evidenze testuali e visive. Inoltre, gli autori introducono HAM-Bench, un benchmark composto da dataset provenienti da Wukong, Wiki, arXiv e Recipe, che coprono guide di gioco, pagine web, articoli scientifici e documenti di ricette. HAM-RAG migliora la media multimodale principale del 17,3% su vari backbone rispetto alla baseline non gerarchica più forte. In particolare, sul dataset Wukong, mostra un miglioramento del 24,2% in Img-CBS rispetto alla baseline non gerarchica più forte, indicando prestazioni significativamente migliori. L'articolo è disponibile su arXiv con identificativo 2608.14032.