I LLM abusano degli strumenti esterni a causa dell'illusione epistemica della conoscenza
Una recente indagine pubblicata su arXiv preprint 2604.19749 indica che i modelli linguistici di grandi dimensioni (LLM) spesso fanno eccessivo affidamento su strumenti esterni nonostante possiedano una conoscenza interna adeguata. Questo problema diffuso, definito 'abuso di strumenti', colpisce vari LLM. I ricercatori hanno scoperto un fenomeno chiamato 'illusione epistemica della conoscenza', per cui questi modelli valutano erroneamente i propri limiti conoscitivi, portando a un inutile ricorso agli strumenti. Per mitigare ciò, suggeriscono di implementare una strategia di allineamento dei confini epistemici consapevole della conoscenza che utilizza l'ottimizzazione diretta delle preferenze, ottenendo una riduzione dell'82,8% nell'uso degli strumenti e migliorando al contempo l'accuratezza. Inoltre, lo studio stabilisce una relazione causale tra le strutture di ricompensa e il comportamento di utilizzo degli strumenti.
Fatti principali
- L'abuso di strumenti è un fenomeno pervasivo in diversi LLM.
- La causa principale è un'illusione epistemica della conoscenza: i modelli giudicano erroneamente i confini della conoscenza interna.
- Una strategia di allineamento dei confini epistemici consapevole della conoscenza riduce l'uso degli strumenti dell'82,8%.
- La strategia produce anche un miglioramento dell'accuratezza.
- Lo studio stabilisce un legame causale tra le strutture di ricompensa e il comportamento di utilizzo degli strumenti.
- La ricerca è pubblicata su arXiv con ID 2604.19749.
- L'articolo è stato annunciato come un nuovo invio.
- Lo studio si concentra sul dotare gli LLM di strumenti esterni.
Entità
Istituzioni
- arXiv