Training a Ripetizione Spaziata: Pianificazione Adattiva del Replay per il Pre-Training Continuo dei LLM

L'articolo di ricerca intitolato "When to Review: Spaced Repetition for Continual Pre-Training of Language Models" (arXiv: 2608.17530) introduce il Training a Ripetizione Spaziata (SRT), un framework progettato per l'apprendimento continuo nei grandi modelli linguistici. Affronta il problema di preservare le conoscenze apprese in precedenza mentre si assimilano nuovi dati. A differenza degli approcci tradizionali che si basano su una miscela statica di informazioni vecchie e nuove, SRT tratta il pre-training continuo come una sfida di pianificazione adattiva, impiegando l'algoritmo SuperMemo-2 (SM-2) per organizzare le revisioni degli esempi di training. Tiene traccia degli stati di revisione per ogni esempio e traduce la perplessità in un segnale della qualità del richiamo. Le valutazioni condotte su dataset di Wikipedia e codice indicano che SRT migliora il bilancio stabilità-plasticità rispetto ai metodi standard, sottolineando l'importanza delle strategie di pianificazione della memoria.