Le spiegazioni narrative degli LLM non migliorano l'accuratezza decisionale umana
Un significativo esperimento comportamentale umano ha esaminato se le spiegazioni narrative generate da LLM migliorano il processo decisionale in compiti di classificazione. I risultati hanno indicato che l'efficacia di queste spiegazioni narrative non ha influenzato significativamente l'accuratezza decisionale rispetto al semplice affidamento a una previsione AI di base, in linea con ricerche precedenti sull'AI spiegabile focalizzata sull'importanza delle caratteristiche. I partecipanti allo studio avevano il compito di prendere decisioni utilizzando spiegazioni LLM che variavano in persuasività, ma non è stato rilevato alcun miglioramento notevole nelle prestazioni.
Fatti principali
- Condotto un esperimento comportamentale umano su larga scala
- Valutata la performance decisionale con spiegazioni narrative generate da LLM
- Testati diversi livelli di persuasività
- Nessun impatto significativo sull'accuratezza decisionale
- I risultati concordano con i tipici risultati dell'AI spiegabile
- Studio pubblicato su arXiv (2605.23867)
- Gli LLM possono generare spiegazioni narrative coerenti
- Lavori precedenti hanno trovato le spiegazioni narrative comprensibili e affidabili
Entità
Istituzioni
- arXiv