SeqMem-Eval: Nuovo Framework per Valutare l'Evoluzione della Memoria nei LLM

Un nuovo framework di valutazione diagnostica chiamato SeqMem-Eval è stato sviluppato dai ricercatori per valutare le capacità di memoria dei grandi modelli linguistici (LLM) durante compiti sequenziali. A differenza delle metriche convenzionali che dipendono da punteggi complessivi come l'accuratezza finale o la prestazione totale, SeqMem-Eval enfatizza l'evoluzione, la generalizzazione, il consolidamento e la ritenzione degli stati di memoria nel tempo. Questo framework è pensato per un ambiente di test in cui la memoria è esterna, mediata da prompt e aggiornata indipendentemente dai parametri del modello. Valuta l'utilità online, la generalizzazione su dati esclusi, il trasferimento all'indietro e l'oblio, prendendo spunto dall'apprendimento continuo. L'obiettivo è identificare modalità di fallimento significative come l'oblio e il trasferimento negativo che potrebbero essere nascoste dalle metriche aggregate. Questa ricerca è documentata in un articolo su arXiv con ID 2605.15384.