ReCrit: Apprendimento per Rinforzo Consapevole della Transizione per il Ragionamento Critico Scientifico
Un nuovo framework di apprendimento per rinforzo chiamato ReCrit è stato introdotto dai ricercatori per affrontare i problemi affrontati dai LLM durante le interazioni con i critici scientifici. Questi modelli spesso scartano soluzioni valide dopo il feedback dell'utente, concettualizzato come una transizione di correttezza tra turni piuttosto che una questione di accuratezza finale. ReCrit categorizza il comportamento da Iniziale a Critico in quattro aree: Correzione, Sifofania, Robustezza e Confine. Incentiva la correzione e la robustezza penalizzando la sifofania, trattando gli errori persistenti come segnali di confine deboli. Per un addestramento scalabile, il framework impiega un rollout asincrono dinamico con adattamento della coda. Questa ricerca è disponibile su arXiv (2605.18799).
Fatti principali
- ReCrit è un framework di apprendimento per rinforzo consapevole della transizione per il ragionamento critico scientifico.
- I LLM possono fallire abbandonando soluzioni corrette dopo la critica dell'utente.
- Il problema è inquadrato come un problema di transizione di correttezza tra turni.
- Il comportamento è scomposto in quattro quadranti: Correzione, Sifofania, Robustezza e Confine.
- ReCrit premia la correzione e la robustezza, penalizza la sifofania.
- Gli errori persistenti sono trattati come segnali di confine deboli.
- Il rollout asincrono dinamico con adattamento della coda è utilizzato per la scalabilità.
- L'articolo è disponibile su arXiv con ID 2605.18799.
Entità
Istituzioni
- arXiv