I Transformer Lottano con la Variante della Torre di Hanoi Nonostante i Modelli del Mondo Emergenti
Uno studio recente pubblicato su arXiv (2608.07077) esplora le sfide affrontate dai grandi modelli di ragionamento (LRM) nel risolvere il puzzle della Torre di Hanoi, in particolare la variante da-piatto-a-piatto in cui sia lo stato iniziale che quello finale possono trovarsi su qualsiasi piolo. Condotto da un team la cui identità rimane non divulgata, la ricerca prevede l'addestramento di piccoli Transformer da zero utilizzando tracce di soluzioni precalcolate. I metodi di interpretabilità rivelano che questi modelli creano un modello del mondo emergente, che è una rappresentazione geometricamente accurata e linearmente decodificabile dello spazio degli stati del puzzle, rappresentato dal triangolo di Sierpinski. Questo modello gioca un ruolo cruciale nella risoluzione del puzzle. Lo studio esamina anche due modelli di ragionamento avanzati, Qwen3.6-27B e un altro modello senza nome, che incontrano ancora difficoltà con la variante da-piatto-a-piatto, nonostante le loro capacità avanzate. L'articolo mette in discussione l'assunto che i modelli attuali 'pensino' o pianifichino realmente, indicando che il loro successo nei puzzle standard potrebbe essere fuorviante. Questi risultati sottolineano i limiti del ragionamento dell'IA e la necessità di migliori capacità di pianificazione. L'abstract del nuovo articolo arXiv enfatizza il divario tra i modelli del mondo emergenti e la risoluzione efficace dei problemi in situazioni complesse.
Fatti principali
- Studio su arXiv: 2608.07077
- Focus sul puzzle della Torre di Hanoi e sui grandi modelli di ragionamento (LRM)
- I modelli lottano con la variante da-piatto-a-piatto
- Piccoli Transformer addestrati da zero su tracce di soluzioni
- Modello del mondo emergente: rappresentazione linearmente decodificabile del triangolo di Sierpinski
- Il modello del mondo è causalmente coinvolto nella risoluzione dei puzzle
- Tecniche applicate a Qwen3.6-27B e a un altro modello di ragionamento all'avanguardia
- L'articolo sfida l'illusione del pensiero nei modelli attuali
Entità
Istituzioni
- arXiv