Il protocollo di audit rivela i limiti dell'elicitazione esplicita dello stato nella classificazione delle policy di memoria dell'IA

Un articolo di ricerca disponibile su arXiv (2608.17247) introduce un protocollo di audit sistematico volto a valutare l'accuratezza degli agenti di IA personalizzati nell'utilizzo della memoria utente. La procedura inizia individuando le scorciatoie nel dataset, seguita dalla separazione delle modifiche combinate dei prompt. Valuta poi se le etichette intermedie correlano con le risposte, analizza la prova semantica scomposta e verifica i guasti a livello di provider. Le valutazioni preliminari su un set di sviluppo sintetico composto da 480 esempi hanno indicato benefici da un pacchetto di prompt strutturati, sebbene l'analisi TF-IDF abbia mostrato separabilità lessicale senza alcun caso Ignore positivo autonomo. Gli autori hanno creato un insieme controfattuale controllato di 160 esempi, con 40 famiglie abbinate a quattro vie e politiche di riferimento basate su regole. I risultati indicano che rivelare le quattro definizioni di stato migliora l'accuratezza, mentre un campo distinto di output esplicito di stato non migliora significativamente l'accuratezza della policy.