LARK: Un Metodo Basato sull'Apprendibilità per la Selezione di Traiettorie di Ragionamento nella Distillazione

LARK è un approccio innovativo per la selezione di traiettorie nella distillazione del ragionamento, come dettagliato in un recente articolo arXiv (2605.30651). A differenza dei metodi euristici tradizionali che dipendono dalla qualità delle traiettorie o dalla confidenza del modello, LARK enfatizza l'apprendibilità delle traiettorie da parte del modello studente. Identifica traiettorie che lo studente può apprendere efficacemente, mantenendo al contempo la generalizzazione dell'intera distribuzione di addestramento. Centrale per LARK è un fattore di apprendibilità ρ, che indica la velocità di riduzione della perdita di addestramento dello studente. Per valutare accuratamente questo tasso, gli autori introducono un proxy di apprendibilità e una politica di selezione regolarizzata χ² che garantisce un equilibrio tra apprendibilità e copertura distribuzionale, entrambi supportati da solide garanzie teoriche sull'errore di stima. Questo metodo colma una lacuna cruciale nella distillazione del ragionamento concentrandosi su traiettorie che sono sia di alta qualità che apprendibili, il che potrebbe migliorare l'efficienza e l'efficacia dell'addestramento del modello studente.