La valutazione degli agenti basati su LLM necessita di un framework unificato

Un recente studio pubblicato su arXiv (2602.03238) sostiene che gli attuali metodi per valutare gli agenti basati su LLM sono incoerenti e inadeguati. Gli autori notano che i benchmark sono influenzati da elementi irrilevanti come prompt di sistema, configurazioni degli strumenti e variazioni ambientali. C'è una significativa incoerenza nel modo in cui i prompt sono progettati per il ragionamento e l'applicazione degli strumenti, complicando la capacità di collegare le prestazioni direttamente al modello. Inoltre, l'assenza di dati ambientali standardizzati provoca errori difficili da tracciare e risultati non replicabili, portando a problemi di equità e trasparenza. Gli autori sostengono che un framework di valutazione completo sia cruciale per un progresso significativo nella valutazione degli agenti.