Misurare la coerenza comportamentale tra compiti negli agenti modello linguistico

Un recente articolo su arXiv presenta la Metrica di Coerenza Comportamentale (BCM), volta a misurare la coerenza del comportamento negli agenti modello linguistico. I ricercatori sostengono che le metriche convenzionali, come il tasso di successo, non riflettono adeguatamente la coerenza di un agente in vari compiti. La BCM prevede l'addestramento di un modello per prevedere il successo del compito basandosi su caratteristiche comportamentali delle tracce di esecuzione dell'agente, generando vettori di attribuzione delle caratteristiche per ogni traiettoria e calcolando la similarità media a coppie di questi vettori all'interno di un sistema agente. Esaminando circa 9.000 traiettorie di sei agenti modello linguistico impegnati in compiti di ingegneria del software, i risultati rivelano che la coerenza tra compiti e quella all'interno del compito possono differire: alcuni sistemi mostrano riproducibilità locale ma mancano di coerenza globale, mentre altri mantengono coerenza a entrambi i livelli. L'articolo è disponibile su arXiv con identificativo 2608.13598.