Rete Echo-State Rileva i Fallimenti degli Agenti LLM in Tempo Reale
Uno studio recente pubblicato su arXiv (2608.02464) introduce un nuovo metodo per rilevare i fallimenti negli agenti basati su grandi modelli linguistici (LLM). Questo approccio utilizza dati di telemetria osservabili invece di affidarsi a un secondo LLM costoso per la valutazione dei passi. Impiega un insieme di reti echo-state a una classe con allarmi CUSUM, addestrato solo su esecuzioni riuscite, con costi di misura in microsecondi. La tecnica è stata valutata su 2.823 episodi di agenti in tre framework, inclusi modelli locali come qwen2.5 e llama3.1, e un'API commerciale, gemini-2.5-flash. Ha identificato accuratamente il 71% dei fallimenti con un tasso di falsi allarmi del 5% e ha mostrato prestazioni migliori nel tempo, affrontando problemi comuni come loop e deriva degli obiettivi, risultando conveniente.
Fatti principali
- Il metodo utilizza un insieme di reti echo-state a una classe con allarmi CUSUM.
- Monitora costi in microsecondi per passo ed è addestrato solo su esecuzioni sane.
- Valutazione su 2.823 episodi in tre framework e più modelli.
- Rileva 0,71 dei fallimenti con un budget di falsi allarmi del 5% (AUROC 0,872).
- Vantaggio rispetto alla baseline senza memoria: +0,09 a ≤3 passi, +0,40 a ≥9 passi.
- Il ranking si trasferisce senza riaddestramento a AFTraj-2K (0,745) e ATBench (0,779).
- Affronta fallimenti come loop, errori degli strumenti, deriva degli obiettivi, fabbricazione e contenuti corrotti.
- L'articolo è disponibile su arXiv con ID 2608.02464.
Entità
Istituzioni
- arXiv