Quadro di Località dell'Interazione per il Ragionamento Ricorsivo Gerarchico
Un recente preprint su arXiv (2605.20784) presenta un quadro chiamato località dell'interazione, progettato per valutare il flusso di informazioni nel ragionamento spaziale tenendo conto della geometria del compito. Questo quadro utilizza ablazioni delle caratteristiche con autoencoder sparsi insieme a un patching dell'attivazione a rumore finito, incorporando valutazioni dello Jacobiano strutturale e dell'attenzione. Testato sui modelli HRM e TRM su Maze-Hard, Sudoku Extreme e ARC-AGI, il patching dell'attivazione dimostra che gli stati ricorsivi elevati codificano principalmente informazioni in celle adiacenti o all'interno dello stesso segmento, mentre gli aggiornamenti ricorsivi iterativi consolidano scritture locali in un quadro risolutivo più esteso.
Fatti principali
- arXiv:2605.20784
- Proposto quadro di località dell'interazione
- Utilizzate ablazioni delle caratteristiche con autoencoder sparsi e patching dell'attivazione a rumore finito
- Applicato ai modelli HRM e TRM
- Testato su Maze-Hard, Sudoku Extreme e ARC-AGI
- Stati ricorsivi elevati scrivono informazioni localmente
- Aggiornamenti ricorsivi ripetuti accumulano scritture locali in una struttura più ampia
Entità
Istituzioni
- arXiv