Gli LLM Allucinano su Conoscenze Strutturate a Causa di Dinamiche Interne
Una recente indagine pubblicata su arXiv (2605.26362) esplora le ragioni alla base delle allucinazioni nei modelli linguistici di grandi dimensioni (LLM) quando elaborano informazioni strutturate linearizzate come grafici e tabelle. I risultati rivelano che queste allucinazioni derivano da dinamiche interne sistematiche anziché da mere fluttuazioni casuali. I ricercatori hanno osservato che l'attenzione tende a concentrarsi su indicatori strutturali simili a scorciatoie piuttosto che distribuirsi uniformemente sull'intero contesto. Inoltre, le rappresentazioni feed-forward non ancorano efficacemente le informazioni fornite, portando il modello a fare affidamento sulla sua memoria parametrica. Lo studio evidenzia un legame coerente tra allucinazioni e fallimenti di ancoraggio semantico nei layer feed-forward, mentre la distribuzione dell'attenzione varia a seconda del compito. Questa analisi migliora la comprensione delle allucinazioni negli LLM e suggerisce potenziali strategie di mitigazione.
Fatti principali
- L'articolo arXiv 2605.26362 analizza le allucinazioni degli LLM su conoscenze strutturate.
- Le allucinazioni derivano da dinamiche interne sistematiche, non da rumore casuale.
- L'attenzione si concentra in modo sproporzionato su segnali strutturali simili a scorciatoie.
- Le rappresentazioni feed-forward non riescono ad ancorare la conoscenza fornita.
- I modelli ricorrono alla memoria parametrica quando l'ancoraggio fallisce.
- L'allucinazione è costantemente legata a fallimenti di ancoraggio semantico nei layer feed-forward.
- L'allocazione dell'attenzione mostra una maggiore dipendenza dal compito.
- Lo studio si concentra sul ragionamento su rappresentazioni linearizzate di grafici e tabelle.
Entità
Istituzioni
- arXiv