Divario tra Conoscenza e Azione nell'Uso degli Strumenti nei LLM: Necessità Adattiva al Modello

Uno studio recente pubblicato su arXiv (2605.14038) presenta un approccio adattivo al modello per definire la necessità degli strumenti per i modelli linguistici di grandi dimensioni (LLM), scoprendo un notevole divario tra conoscenza e azione. Ricerche precedenti consideravano la necessità degli strumenti come uniforme tra i modelli; tuttavia, gli autori sostengono che le capacità dei diversi modelli variano significativamente. Di conseguenza, un modello robusto potrebbe risolvere un problema senza strumenti, mentre uno più debole potrebbe ancora averne bisogno. Valutano la necessità degli strumenti in base alle prestazioni empiriche e la confrontano con l'uso effettivo degli strumenti in quattro modelli su dataset di aritmetica e QA fattuale. I risultati rivelano discrepanze considerevoli: 26,5-54,0% in aritmetica e 30,8-41,8% in QA fattuale. Lo studio identifica problemi nell'uso adattivo degli strumenti, sottolineando che i modelli spesso trascurano di utilizzare gli strumenti quando necessario o li usano in modo inappropriato. Questa ricerca evidenzia la necessità di strategie di utilizzo degli strumenti su misura per ogni modello e illustra il disallineamento tra il riconoscimento della necessità degli strumenti e la loro effettiva applicazione.