Il framework DAVinCI migliora l'affidabilità fattuale degli LLM con doppia attribuzione e verifica
I ricercatori hanno creato un nuovo sistema chiamato DAVinCI volto a migliorare l'accuratezza e la comprensibilità dei modelli linguistici di grandi dimensioni (LLM). Questo framework opera in due fasi: prima, collega le affermazioni prodotte dal modello sia ai suoi elementi interni che a fonti esterne. Poi, utilizza ragionamenti e controlli di confidenza per confermare la validità di ciascuna affermazione. DAVinCI è stato testato con più set di dati, come FEVER e CLIMATE-FEVER, ed è stato confrontato con modelli standard di sola verifica. I risultati hanno mostrato un aumento significativo dell'accuratezza di classificazione. Questo sviluppo è particolarmente importante in aree critiche come la sanità, il diritto e la comunicazione scientifica, dove la fiducia e la capacità di verificare le informazioni sono fondamentali.
Fatti principali
- DAVinCI sta per framework di Doppia Attribuzione e Verifica
- Mira a inesattezze fattuali e allucinazioni negli LLM
- Il framework ha due fasi: attribuzione e verifica
- L'attribuzione collega le affermazioni a componenti interni del modello e fonti esterne
- La verifica utilizza ragionamenti basati su implicazione e calibrazione della confidenza
- Valutato sui set di dati FEVER e CLIMATE-FEVER
- Confrontato con baseline standard di sola verifica
- Mostra un miglioramento significativo nell'accuratezza di classificazione
Entità
Istituzioni
- arXiv