Studio Rivela Leggi di Scala per l'Apprendimento per Rinforzo dei LLM nel Ragionamento Matematico

Uno studio empirico indaga sistematicamente il comportamento dei grandi modelli linguistici (LLM) dopo l'apprendimento per rinforzo, concentrandosi sul ragionamento matematico. Questa ricerca analizza le caratteristiche di scala della serie di modelli densi Qwen2.5, che spazia da 0,5B a 72B parametri. Quattro risultati significativi emergono dallo studio: i modelli più grandi mostrano una maggiore efficienza di apprendimento riguardo alle metriche di calcolo e dati, si osserva una forte relazione predittiva di legge di potenza tra perdita di test, calcolo e dati sia nei modelli base che in quelli ottimizzati per istruzioni, e sebbene i modelli più grandi siano più efficienti, le loro tendenze di efficienza di apprendimento analitico necessitano di ulteriori indagini. L'interazione tra dimensione del modello, quantità di dati e risorse computazionali è caratterizzata per influenzare le prestazioni. Questa ricerca colma una lacuna nella comprensione delle leggi di scala per i LLM durante l'apprendimento per rinforzo post-addestramento, che ha ricevuto meno attenzione rispetto al pre-addestramento. Il documento è catalogato come arXiv:2509.25300v4 e classificato come annuncio replace-cross.