Strumenti Canary Diagnosticano il Ragionamento nella Selezione degli Strumenti negli Agenti LLM
Quindi, c'è questo nuovo studio che introduce i cosiddetti 'strumenti canary' per aiutare a identificare dove gli agenti basati su modelli linguistici di grandi dimensioni (LLM) sbagliano nella scelta degli strumenti. Puoi trovare lo studio su arXiv con il codice 2608.04719. Classificano gli errori di selezione degli strumenti in sei categorie, come esche semantiche e trappole di granularità, il che aiuta ad analizzare i problemi più a fondo rispetto al semplice dire che uno strumento era sbagliato. Hanno testato otto modelli—sei ospitati e due open-weight da 8B—su 120 compiti, portando a un totale di 8.640 esecuzioni. Hanno anche condotto un test più piccolo di 2.880 esecuzioni per esaminare la sottigliezza. Un valutatore indipendente ha esaminato i risultati, supportato da un altro giudice. I risultati suggeriscono che i modelli migliori hanno meno probabilità di cadere in queste trappole, il che è un grande passo avanti per migliorare le valutazioni degli LLM nell'IA.
Fatti principali
- Introduce gli strumenti canary come sonde diagnostiche per il ragionamento nella selezione degli strumenti negli agenti LLM
- Propone una tassonomia di sei tipi: esche semantiche, trappole di parametri, miraggi di capacità, cecità ai prerequisiti, esche temporali, trappole di granularità
- Valuta otto modelli (sei ospitati, due open-weight da 8B) su tre livelli di capacità
- Conduce 8.640 esecuzioni più un'ablazione di sottigliezza con 2.880 esecuzioni
- Utilizza un giudice indipendente dal fornitore con la conferma di un secondo giudice (kappa di Cohen = 0,75)
- Trova che la suscettibilità diminuisce drasticamente con la capacità del modello
- Fornisce un profilo multidimensionale del ragionamento nella selezione degli strumenti
- Articolo disponibile su arXiv con ID 2608.04719
Entità
Istituzioni
- arXiv