Difetti nei Metadati nell'AI Agente: Errori Costosi Silenziosi e Rimedi

Un recente articolo su arXiv (2607.26313) evidenzia che i difetti nei metadati all'interno dei sistemi di AI agente—come prezzi obsoleti o record superati—portano a errori significativi senza alcun indicatore di problemi di qualità dei dati o incertezze comportamentali. In un benchmark per il rifornimento a prezzo, un agente competente traduce involontariamente questi difetti in azioni errate circa il 60% delle volte, senza capacità di rilevamento (AUC ≤ 0.50). Questa consistenza è osservata in quattro livelli di modelli, che differiscono di circa 15 volte nei costi di inferenza, indicando che una maggiore capacità non equivale a maggiore scetticismo. Lo studio suggerisce di implementare un gate pre-azione consapevole dei metadati con una remediation solo a valle per recuperare le perdite sui segnali identificati, sebbene fatichi con quelli non riconosciuti. Inoltre, un oracolo senza modello basato sul compito offre ulteriori soluzioni.