AJ-Bench introduce un nuovo benchmark per la valutazione degli agenti AI in ambienti complessi

È stato introdotto un nuovo benchmark chiamato AJ-Bench per valutare sistematicamente gli approcci Agent-as-a-Judge per verificare i comportamenti degli agenti AI in ambienti complessi. Il benchmark affronta le limitazioni dei metodi esistenti come i verificatori basati su regole e i modelli LLM-as-a-Judge, che faticano a generalizzare al di là di domini ristretti. Agent-as-a-Judge funziona interagendo attivamente con ambienti e strumenti per raccogliere prove verificabili. AJ-Bench comprende 155 compiti e 516 traiettorie annotate in tre domini: ricerca, sistemi di dati e interfacce utente grafiche. Valuta in modo completo le capacità degli agenti giudice nell'acquisizione di informazioni, verifica dello stato e verifica del processo. Gli esperimenti mostrano miglioramenti costanti delle prestazioni rispetto ai baseline LLM-as-a-Judge, rivelando al contempo sfide aperte sostanziali. La ricerca è stata annunciata su arXiv con identificatore 2604.18240v1. Questo lavoro emerge mentre l'apprendimento per rinforzo continua a scalare l'addestramento di agenti basati su modelli linguistici di grandi dimensioni, rendendo la verifica affidabile sempre più difficile.