Modello Ricorsivo Tiny Probabilistico Migliora il Ragionamento Senza Riaddestramento
Un nuovo framework di IA chiamato Modello Ricorsivo Tiny Probabilistico (PTRM) migliora l'accuratezza del ragionamento iniettando rumore gaussiano nei passaggi ricorsivi, consentendo l'esplorazione parallela di bacini di soluzioni. Il metodo utilizza la testa Q esistente del modello per la selezione, senza richiedere riaddestramento o potenziamenti specifici del compito. PTRM ottiene guadagni sostanziali su benchmark come il Sudoku, affrontando la limitazione della ricorsione deterministica nei Modelli Ricorsivi Tiny (TRM) che possono convergere su soluzioni subottimali. L'articolo è disponibile su arXiv con ID 2605.19943.
Fatti principali
- PTRM inietta rumore gaussiano a ogni passo di ricorsione profonda.
- PTRM utilizza la testa Q esistente del modello per l'arresto anticipato e la selezione.
- PTRM non richiede riaddestramento o potenziamenti specifici del compito.
- PTRM ottiene guadagni sostanziali di accuratezza su benchmark tra cui il Sudoku.
- TRM risolve compiti di ragionamento complessi con una frazione dei parametri degli LLM.
- La ricorsione deterministica di TRM può portare a soluzioni subottimali.
- PTRM è un framework agnostico per il ridimensionamento computazionale a tempo di test.
- L'articolo è disponibile su arXiv:2605.19943.
Entità
Istituzioni
- arXiv