AgentSLABench: Benchmarking di Agenti AI Sotto Vincoli di Risorse

AgentSLABench, un nuovo framework di valutazione focalizzato sulla consapevolezza delle risorse per agenti AI autonomi, è stato dettagliato in una pubblicazione arXiv (2608.00805). A differenza dei benchmark convenzionali che valutano solo l'accuratezza, questo framework valuta la correttezza insieme a latenza, costo, potenza di calcolo, memoria e utilizzo della rete entro limiti di risorse specificati. Presenta 16 ambienti di attività suddivisi in 6 categorie, che includono 5 attività principali: QA multi-hop, sostituzione al dettaglio, generazione di codice, shopping web e pianificazione di viaggi, insieme a 11 attività estese. Ogni attività opera in contenitori Docker separati con vincoli definiti di CPU, memoria, tempo e rete, utilizzando set di test sigillati con hash SHA256 e un protocollo di profilazione uniforme. Lo studio esamina 5 agenti baseline di scopo generale (ReAct, PlanAndSolve, Reflexion, CoT, Random) e 4 agenti specializzati, mirando a fornire un profilo dettagliato per ogni agente per attività, incorporando la correttezza dell'attività come metrica chiave per la valutazione in condizioni reali di risorse limitate.