Il benchmark VAKRA di IBM rivela modalità critiche di fallimento degli agenti di IA negli ambienti aziendali

IBM Research ha introdotto VAKRA, un nuovo benchmark finalizzato a valutare le capacità di ragionamento e l'utilizzo di strumenti degli agenti di IA negli ambienti aziendali. Questo strumento valuta il ragionamento composizionale analizzando le tracce di esecuzione attraverso API e documenti, concentrandosi sul completamento di flussi di lavoro multi-step. VAKRA comprende oltre 8.000 API che coprono 62 diversi domini, insieme a raccolte di documenti specifici per dominio. I compiti richiedono catene di ragionamento di 3-7 passi che integrano interazioni strutturate con API con il recupero di dati non strutturati. Include quattro capacità chiave: concatenamento di API (2.077 istanze), selezione di strumenti (1.597 istanze), ragionamento multi-hop (869 istanze) e ragionamento multi-hop e multi-sorgente (644 istanze). Modelli come GPT-OSS-120B faticano, in particolare con il ragionamento complesso, rivelando discrepanze tra l'efficacia degli strumenti e l'affidabilità degli agenti per applicazioni pratiche.