I Transformer Falliscono nella Verifica Durante la Ricerca con Backtracking
Un nuovo articolo su arXiv (2605.22221) rivela che i transformer decoder-only addestrati su tracce cumulative di solver non riescono a prevedere correttamente se continuare o tornare indietro durante la ricerca. Il predittore ottimale dipende solo dallo stato corrente, ma il modello soffre di recupero disperso (caratteristiche dello stato sparse tra le posizioni) e di entanglement storico (condizionamento sulla traiettoria). Gli autori propongono una correzione di localizzazione che riscrive i blocchi decisionali per esporre localmente le caratteristiche dello stato.
Fatti principali
- arXiv:2605.22221v1
- Tipo di annuncio: cross
- La ricerca con backtracking è alla base di solver di vincoli classici, pianificatori e dimostratori di teoremi
- I sistemi di ragionamento basati su transformer esplorano alberi di ricerca su passaggi intermedi
- L'addestramento utilizza la perdita autoregressiva del token successivo su tracce di solver offline
- L'input del modello è la traccia cumulativa di tutte le decisioni precedenti
- Il predittore ottimale di continuare o tornare indietro dipende solo dallo stato di ricerca corrente
- Due traiettorie che raggiungono lo stesso stato ammettono le stesse continuazioni valide
- I transformer decoder-only falliscono a causa di recupero disperso e entanglement storico
- La correzione di localizzazione riscrive ogni blocco decisionale per esporre localmente le caratteristiche dello stato
Entità
Istituzioni
- arXiv