Generalizzazione dei LLM attraverso i Livelli di Difficoltà: Uno Studio Sistematico

Un recente articolo su arXiv (2511.21692) esplora le capacità di generalizzazione dei modelli linguistici di grandi dimensioni (LLM) riguardo a diversi livelli di difficoltà dei compiti, un aspetto fondamentale per la valutazione e la cura dei dati. I ricercatori evidenziano risultati incoerenti in studi precedenti riguardo se l'addestramento su dati più semplici o più complessi porti a risultati superiori, e se i miglioramenti si manifestino in dati di test più facili o più difficili. Per indagare questo, eseguono una valutazione completa su più modelli, dataset e specifiche categorie di difficoltà. Utilizzando gli output di migliaia di LLM e la Teoria della Risposta all'Item (IRT), classificano gli esempi in sei dataset. Le loro valutazioni di difficoltà si basano esclusivamente sulle prestazioni di vari LLM, omettendo il giudizio umano. Questa analisi obiettiva rivela che la generalizzazione attraverso i livelli di difficoltà è spesso limitata. Le implicazioni dei loro risultati influenzano come vengono scelti i dati di addestramento e come viene misurata l'efficacia del modello, indicando che i miglioramenti potrebbero non trasferirsi come previsto tra diversi livelli di difficoltà.