Difficoltà dei dati e compromesso generalizzazione-estrapolazione nel fine-tuning dei LLM

Un recente preprint su arXiv (2605.12906) esplora l'impatto della difficoltà dei dati sul supervised fine-tuning (SFT) dei modelli linguistici di grandi dimensioni (LLM). I ricercatori concludono che non esiste un singolo livello di difficoltà ottimale; piuttosto, all'aumentare del budget di dati, la difficoltà ideale tende a favorire dati più impegnativi. Attraverso esperimenti sintetici controllati, identificano un equilibrio tra generalizzazione in-distribution e gap di estrapolazione. L'indagine analizza rigorosamente euristiche come perplessità, difficoltà e lunghezza, evidenziando discrepanze con studi precedenti. Questa ricerca combina approcci empirici e teorici, concentrandosi sulle strategie di selezione dei dati.