Studio arXiv: Gli Effetti della Selezione dei Dati Dipendono dalla Capacità del Modello

Uno studio recente pubblicato su arXiv (2608.13721) esamina come il successo della selezione dei dati basata sulla verosimiglianza nel fine-tuning supervisionato sia influenzato dalla capacità del modello e dalla durata dell'addestramento. I ricercatori, utilizzando modelli con parametri che vanno da 1,5B a 8B e la guida di modelli insegnanti più avanzati, identificano una tendenza 'Fast-Fit / Slow-Gain' che dipende dalla capacità. Mentre i dati ad alta verosimiglianza portano a miglioramenti iniziali più rapidi e costanti, i vantaggi a lungo termine dipendono dalla dimensione del modello e dalla durata dell'addestramento. La ricerca si concentra su compiti di ragionamento matematico e include esperimenti controllati per validare le sue conclusioni. Il documento è accessibile all'indirizzo https://arxiv.org/abs/2608.13721.