La Ripetizione di Dati di Alta Qualità Migliora l'Addestramento dei Modelli Linguistici Tedeschi

Un nuovo studio su arXiv (2604.28075) analizza il compromesso tra diversità e qualità dei dati per la modellazione linguistica in tedesco. I ricercatori hanno applicato filtri di qualità gerarchici a 500 milioni di documenti web, confrontando l'addestramento multi-epoca su sottoinsiemi di alta qualità con l'addestramento a passaggio singolo su corpora più ampi e meno filtrati. Su diverse scale di modello e budget di token, la ripetizione di dati di alta qualità ha costantemente superato l'addestramento a passaggio singolo su dati diversificati, con un divario di prestazioni persistente anche dopo sette epoche. I risultati mettono in discussione l'assunto che la diversità sia sempre vantaggiosa per lingue non inglesi come tedesco, francese o giapponese, dove un filtraggio aggressivo potrebbe creare un dilemma strategico. Lo studio suggerisce che dare priorità alla qualità rispetto alla diversità attraverso la ripetizione può portare a una migliore efficienza dei campioni.