Un nuovo articolo su arXiv analizza il curriculum learning nei LLM e propone il metodo TDCS

Uno studio recente pubblicato su arXiv (arXiv:2608.17268) esplora l'efficacia incoerente del curriculum learning—ovvero la strutturazione dei dati di addestramento da compiti più semplici a quelli più complessi—nei modelli linguistici di grandi dimensioni (LLM). Sebbene questo metodo sia comunemente applicato nella fase di post-addestramento, il suo successo non è uniforme, suggerendo che non esiste un curriculum valido per tutti. I ricercatori esaminano come diversi schemi di curriculum influenzano le dinamiche di ottimizzazione e identificano la relazione di trasferimento tra diversi livelli di difficoltà come fattore cruciale. Introducono il concetto di Relative Transfer, una misura sistematica del trasferimento di conoscenze tra livelli di difficoltà, e propongono il Transfer-aware Dynamic Curriculum Sampling (TDCS), che modifica in tempo reale la distribuzione di campionamento. L'articolo completo è disponibile all'indirizzo https://arxiv.org/abs/2608.17268.