Un framework modulare di generazione e selezione migliora la sintesi fedele sotto vincoli di budget
Un nuovo framework modulare per la sintesi astrattiva separa i processi di generazione e selezione per affrontare problemi come l'incoerenza fattuale, la ridondanza e un controllo inadeguato della lunghezza. Questo metodo impiega un generatore pre-addestrato per creare diversi riassunti candidati, che vengono poi suddivisi in opzioni a livello di frase. Un selettore combinatorio finalizza il riassunto ottimizzando pertinenza, accuratezza fattuale e ridondanza, rispettando un limite di frasi specificato. Il framework supporta varie tecniche di selezione, tra cui MMR, ILP e un obiettivo log-determinante ispirato a DPP, senza richiedere il riaddestramento del generatore. I test condotti su CNN/DailyMail, Multi-News, FaithBench e TofuEval dimostrano miglioramenti costanti in termini di factualità e ancoraggio alle fonti, specialmente nella sintesi multi-documento, sebbene con punteggi di sovrapposizione con i riferimenti ridotti. Le valutazioni umane rivelano una migliore coerenza percepita, pertinenza, chiarezza e concisione, insieme a un leggero calo nella coerenza. L'articolo è disponibile su arXiv con l'identificatore 2608.03655.
Fatti principali
- Il framework disaccoppia generazione e selezione per la sintesi con vincolo di budget di frasi.
- Un generatore pre-addestrato produce più riassunti candidati.
- I candidati vengono scomposti in candidati a livello di frase.
- Un selettore combinatorio bilancia pertinenza, factualità e ridondanza sotto un budget esplicito.
- Supporta MMR, ILP e un obiettivo log-determinante ispirato a DPP senza riaddestrare il generatore.
- Gli esperimenti su CNN/DailyMail, Multi-News, FaithBench e TofuEval mostrano miglioramenti in factualità e ancoraggio alle fonti.
- I miglioramenti sono particolarmente notevoli per la sintesi multi-documento.
- La valutazione umana mostra una maggiore coerenza percepita, pertinenza, chiarezza e concisione, con una piccola riduzione nella coerenza.
Entità
Istituzioni
- arXiv