Paradosso dell'abbondanza informativa: l'addestramento su contesti lunghi mina la conoscenza parametrica

Uno studio recente pubblicato su arXiv (2608.12218) contesta la convinzione comune che contesti di addestramento più lunghi siano sempre vantaggiosi per i modelli linguistici di grandi dimensioni. I ricercatori introducono il concetto di 'Paradosso dell'abbondanza informativa', suggerendo che quando durante l'addestramento è disponibile troppa informazione rilevante, i modelli possono diventare meno motivati a codificare quei dati in modo parametrico, portando a una maggiore dipendenza dai segnali contestuali. I loro esperimenti di pre-addestramento con documenti lunghi rivelano che, mentre l'espansione della finestra di contesto migliora la modellazione del linguaggio, la comprensione del linguaggio naturale e la risposta a domande a scelta multipla a libro chiuso fino a un certo punto, la prestazione alla fine diminuisce oltre tale intervallo ottimale. L'articolo esplora anche il fine-tuning supervisionato, indicando che il contesto rilevante per il compito può alterare le dinamiche di apprendimento. Questi risultati evidenziano un equilibrio tra conoscenza parametrica e contestualizzazione, con impatti sull'architettura del modello e sui metodi di addestramento, e sono significativi per la comunità di ricerca sull'IA focalizzata su modelli linguistici di grandi dimensioni, finestre di contesto e rappresentazione della conoscenza.