Llama-3.1-8B utilizza l'addizione in base 10 per il ragionamento ciclico
Un nuovo studio su arXiv rivela che Llama-3.1-8B, nonostante abbia rappresentazioni strutturate circolarmente per concetti ciclici come i mesi, non calcola direttamente l'addizione modulare all'interno del periodo del concetto (ad esempio, 12 per i mesi). Invece, riutilizza un meccanismo generico di addizione in base 10: somma i due input (ad esempio, sei + agosto = 14) e poi mappa il risultato allo spazio del concetto ciclico (14 → febbraio). Il modello impiega caratteristiche di Fourier agnostiche al compito con periodi che rispettano l'addizione in base 10 (2, 5, 10) piuttosto che il periodo del concetto ciclico. Un insieme sparso di 28 neuroni MLP è identificato come chiave per questo processo.
Fatti principali
- Studio pubblicato su arXiv con ID 2605.01148
- Si concentra sul modello Llama-3.1-8B
- Il modello utilizza l'addizione in base 10 per concetti ciclici come i mesi
- Esempio: sei mesi dopo agosto è calcolato come 6+8=14, poi mappato a febbraio
- Le caratteristiche di Fourier hanno periodi 2, 5, 10 invece di 12
- 28 neuroni MLP identificati come critici
- Il modello riutilizza un meccanismo di addizione generico tra compiti
- Le rappresentazioni sono strutturate circolarmente ma non utilizzate per addizione modulare diretta
Entità
Istituzioni
- arXiv