La Paginazione Cooperativa della Memoria con Segnalibri a Parole Chiave Migliora le Conversazioni Lunghe con LLM

Una nuova tecnica denominata paginazione cooperativa affronta il problema della gestione di dialoghi estesi che superano i limiti di contesto dei grandi modelli linguistici. Quando le informazioni più vecchie devono essere eliminate, vengono sostituite con concisi segnalibri a parole chiave, ciascuno composto da circa 8 a 24 token. Il modello utilizza una funzione recall() per accedere al contenuto completo quando necessario. Questa strategia è stata testata utilizzando il benchmark LoCoMo, che include 10 conversazioni reali multi-sessione con oltre 300 scambi. Tra sei metodi valutati, la paginazione cooperativa ha fornito la migliore qualità delle risposte, superando la troncazione, BM25, il recupero per sovrapposizione di parole, una baseline con strumento di ricerca e il contesto completo. Sono stati valutati quattro modelli—GPT-4o-mini, DeepSeek-v3.2, Claude Haiku e GLM-5—con quattro giudici LLM indipendenti che hanno confermato i risultati statisticamente significativi (p=0,017, paired bootstrap). È stata condotta un'indagine approfondita sullo spazio di progettazione della paginazione attraverso uno studio di ablazione 5x4 sulle strategie di confine e le politiche di eliminazione, utilizzando 3.176 sonde sintetiche e 1.600 sonde LoCoMo. Da notare che pagine a dimensione fissa grossolana (fixed_20) hanno raggiunto il 96,7% delle prestazioni. Questa ricerca è dettagliata nel preprint arXiv 2604.12376v1, annunciato come abstract cross-type, che mostra un approccio praticabile per preservare la qualità della conversazione nelle interazioni prolungate con gli LLM.