O²-CritiCuRL: Curriculum RL per il Ragionamento Multimodale
Un nuovo framework chiamato O²-CritiCuRL affronta i passaggi intermedi di ragionamento imperfetti nei modelli linguistici multimodali di grandi dimensioni. Il sistema utilizza un approccio iterativo di apprendimento per rinforzo curriculare offline-online. Nella fase offline, l'analisi multi-rollout su traiettorie annotate a passi stima l'importanza a livello di passo, distillando i passaggi critici di ragionamento e filtrando quelli ridondanti. La fase online impiega un RL progressivo a livello di passo con catene troncate per guidare il modello. Il lavoro è pubblicato su arXiv con ID 2607.23700.
Fatti principali
- O²-CritiCuRL è un framework di apprendimento per rinforzo curriculare per il ragionamento multimodale.
- Affronta i passaggi intermedi imperfetti nei modelli linguistici multimodali di grandi dimensioni.
- Il framework utilizza un paradigma iterativo offline-online.
- Fase offline: analisi multi-rollout su traiettorie annotate a passi.
- Fase online: apprendimento per rinforzo progressivo a livello di passo con catene troncate.
- Pubblicato su arXiv con ID 2607.23700.
- L'approccio mira a migliorare l'interpretabilità e l'affidabilità.
- Distingue i passaggi critici da quelli ridondanti.
Entità
Istituzioni
- arXiv