L'addestramento guidato da sonde migliora l'accuratezza dei parametri nelle chiamate di strumenti LLM

Un recente articolo su arXiv (2608.03071) presenta un benchmark che varia in difficoltà insieme a un framework di addestramento guidato da sonde, volto ad affrontare il problema spesso trascurato del riempimento dei parametri nelle chiamate di strumenti dei modelli linguistici di grandi dimensioni (LLM). I ricercatori notano che anche i modelli più avanzati faticano, completando meno del 50% delle chiamate di strumenti in modo accurato in settori come il networking cloud, sottolineando l'urgente necessità di una maggiore precisione dei parametri. Hanno scoperto che lo stato nascosto di un modello fornisce un segnale robusto per la correttezza, consentendo a una semplice sonda lineare di prevedere l'accuratezza dei valori dei parametri generati. Il loro framework proposto include due metodi sinergici: addestramento bootstrap filtrato da sonda (PBT) e decodifica guidata da sonda (PGD). Inoltre, l'articolo introduce un benchmark per valutare il riempimento dei parametri a diversi livelli di complessità, indicando che l'utilizzo dei segnali dello stato nascosto può migliorare notevolmente l'affidabilità delle applicazioni degli strumenti LLM, in particolare in scenari del mondo reale come il networking cloud.