Metriche intrinseche dei dati predicono la qualità dei modelli di ragionamento
Un nuovo studio su arXiv (2605.13290) indaga se l'utilità dei dataset di ragionamento possa essere prevista prima dell'addestramento utilizzando metriche intrinseche dei dati. I ricercatori hanno messo a punto modelli da 8B e 11B su varianti di un dataset di ragionamento polacco e hanno trovato forti correlazioni tra queste metriche e le prestazioni a valle. I predittori dipendono dalla scala: i modelli più piccoli necessitano di metriche focalizzate sull'allineamento per la precisione, mentre i modelli più grandi beneficiano di alta ridondanza e tracce verbose. Questo framework consente ai professionisti di selezionare set di addestramento efficaci senza costosi tentativi ed errori.
Fatti principali
- Articolo arXiv 2605.13290
- Tipo di annuncio: nuovo
- La validazione dei dati di addestramento per modelli di ragionamento richiede tipicamente costosi cicli di messa a punto per tentativi ed errori.
- Lo studio indaga se l'utilità di un dataset di ragionamento possa essere prevista prima dell'addestramento utilizzando metriche intrinseche dei dati.
- Propone una serie di misure quantitative.
- Ha valutato il potere predittivo mettendo a punto modelli da 8B e 11B su varianti semanticamente distinte di un dataset di ragionamento polacco.
- Le metriche intrinseche mostrano correlazioni forti e significative con le prestazioni del modello a valle.
- I predittori di utilità dipendono dalla scala: i modelli più piccoli si basano su metriche focalizzate sull'allineamento, i modelli più grandi beneficiano di alta ridondanza.
Entità
Istituzioni
- arXiv