Nuovo Framework Diagnostica i Fallimenti degli Agenti AI con Precisione a Livello di Span

Un framework di valutazione completo per agenti AI è stato creato dai ricercatori, integrando sia diagnostiche top-down a livello di agente che valutazioni bottom-up a livello di span. Questo framework suddivide l'analisi in valutazioni separate per ogni span, consentendo di scalare a tracce di qualsiasi lunghezza e fornendo giustificazioni per ogni conclusione. Sul benchmark TRAIL, dimostra prestazioni all'avanguardia su GAIA e SWE-Bench, ottenendo miglioramenti relativi rispetto ai benchmark precedenti fino al 38% nella F1 di categoria, 3,5 volte nella precisione di localizzazione e 12,5 volte nella precisione congiunta di localizzazione-categorizzazione. Questo metodo supera le carenze delle tecniche di valutazione esistenti, che spesso non chiariscono le ragioni del successo o del fallimento e hanno difficoltà a individuare i tipi di fallimento all'interno di tracce lunghe e strutturate.