DenoiseRL: Modello di Ragionamento AI si Riprende da Prefissi Rumorosi
Un nuovo framework di apprendimento per rinforzo chiamato DenoiseRL consente ai grandi modelli linguistici di migliorare il ragionamento imparando direttamente dalle proprie tracce errate, eliminando la necessità di modelli insegnante più forti o di dataset difficili curati. Il metodo trasforma i fallimenti in opportunità di addestramento, migliorando l'efficienza dell'esplorazione e riducendo la dipendenza da supervisione esterna e costosa cura dei dati. Questo approccio rende il miglioramento scalabile delle capacità più accessibile utilizzando un'ottimizzazione orientata al recupero sugli errori di modelli deboli.
Fatti principali
- DenoiseRL è un framework di apprendimento per rinforzo per grandi modelli linguistici.
- Sostituisce la supervisione esterna con un'ottimizzazione orientata al recupero sui fallimenti.
- Il metodo apprende da tracce di ragionamento errate provenienti da modelli deboli.
- Migliora le prestazioni di ragionamento e l'efficienza dell'addestramento.
- Riduce la necessità di costosa cura dei dati o di modelli insegnante più forti.
- L'approccio produce segnali di apprendimento più ricchi e diversificati.
- Migliora l'efficienza dell'esplorazione a partire da comportamenti imperfetti del modello.
- L'articolo è disponibile su arXiv con ID 2605.28421.
Entità
Istituzioni
- arXiv