Inversione Entropia-Gradiente: Nuovo Quadro per Modelli di Ragionamento di Grandi Dimensioni
Un nuovo articolo su arXiv (2605.17770) introduce l'Inversione Entropia-Gradiente, un'impronta geometrica per la capacità di ragionamento nei Modelli di Ragionamento di Grandi Dimensioni (LRM). Gli autori identificano una robusta correlazione negativa tra l'entropia dei token e i gradienti logit, che formalizzano come Inversione Entropia-Gradiente. Sulla base di ciò, propongono l'Ottimizzazione delle Politiche di Gruppo con Regolarizzazione della Correlazione (CorR-PO), incorporando la firma di inversione nella regolarizzazione della ricompensa dell'apprendimento per rinforzo. Il lavoro mira a colmare il divario tra l'analisi comportamentale a livello di token e i meccanismi interni di ragionamento, nonché l'instabilità dell'RL per l'ottimizzazione del ragionamento. Esperimenti su vari benchmark di ragionamento dimostrano l'efficacia dell'approccio.
Fatti principali
- L'articolo arXiv:2605.17770 introduce l'Inversione Entropia-Gradiente
- L'Inversione Entropia-Gradiente è una correlazione negativa tra entropia dei token e gradienti logit
- Agisce come impronta geometrica per la capacità di ragionamento degli LRM
- CorR-PO incorpora la firma di inversione nella regolarizzazione della ricompensa dell'RL
- Il lavoro colma il divario tra analisi a livello di token e ragionamento interno
- Affronta anche l'instabilità dell'RL per l'ottimizzazione del ragionamento
- Gli esperimenti sono stati condotti su vari benchmark di ragionamento
- L'articolo è classificato come nuovo annuncio su arXiv
Entità
Istituzioni
- arXiv