Nuovo Quadro Valuta i Sistemi di Apprendimento Agenziale Senza Etichette

Un recente preprint su arXiv (2608.13608) introduce un nuovo quadro per valutare i sistemi di apprendimento continuo agenziale che non dipende da benchmark etichettati. Questi sistemi, che integrano un grande modello linguistico (LLM) con recupero o memoria per apprendere dal feedback senza bisogno di riaddestramento, stanno diventando sempre più importanti nella cybersecurity. Le tecniche di valutazione tradizionali che utilizzano benchmark etichettati spesso falliscono nei contesti operativi di sicurezza a causa di etichette obsolete, limitate e non rappresentative. Inoltre, i metodi LLM-as-a-judge forniscono intuizioni minime, poiché non sono più efficaci dell'agente valutato, e i metodi di distillazione faticano con etichette sparse e distorte. Il nuovo quadro si basa sull'ipotesi di scaling, dove un modello insegnante robusto fornisce correzioni poco frequenti a uno studente più piccolo con un sistema di apprendimento continuo, che viene valutato in base al miglioramento delle prestazioni dello studente. Questa metodologia cerca di stabilire un sistema di valutazione più efficace e realistico per le applicazioni di sicurezza nel mondo reale.