Quadro statistico quantifica l'affidabilità degli agenti AI sotto perturbazioni

Un nuovo articolo su arXiv (2605.10516) stabilisce una scienza della misurazione rigorosa per l'affidabilità degli agenti AI, introducendo metodi statistici per quantificare la coerenza sotto perturbazioni che preservano il significato. Il framework utilizza statistiche U per l'affidabilità a livello di output e metriche basate su kernel per la stabilità a livello di traiettoria, distinguendo tra capacità core e robustezza esecutiva. Esperimenti su tre benchmark agentici mostrano che le metriche a livello di traiettoria offrono una maggiore sensibilità diagnostica rispetto ai tradizionali tassi pass@1, rivelando che variazioni minori dei compiti possono causare crolli completi della strategia anche quando gli agenti possiedono le conoscenze necessarie. Il lavoro fornisce strumenti matematici per isolare dove e perché gli agenti deviano.