L'ordinamento dei dati nel pre-addestramento dei LLM influisce sulla conoscenza temporale

Un nuovo studio di arXiv (2605.22769) indaga come l'ordine dei dati di addestramento influisca sull'ancoraggio temporale dei grandi modelli linguistici (LLM). I ricercatori hanno introdotto un benchmark di oltre 7.000 domande temporalmente ancorate per valutare se i modelli associano correttamente i fatti ai loro periodi temporali. Hanno pre-addestrato modelli con 6 miliardi di parametri su snapshot di Common Crawl ordinati temporalmente e li hanno confrontati con il pre-addestramento standard mescolato. I risultati hanno mostrato che i modelli addestrati sequenzialmente eguagliavano i baselines mescolati nella comprensione linguistica generale, pur esibendo una conoscenza più aggiornata e temporalmente precisa. Il lavoro evidenzia l'importanza della temporalità dei dati nel pre-addestramento dei LLM.