I LLM sviluppano rappresentazioni numeriche universali, riducendo gli errori aritmetici
Un nuovo studio quantifica che i grandi modelli linguistici (LLM) convergono a rappresentazioni sinusoidali sorprendentemente sistematiche per i numeri, che sono quasi perfettamente universali tra diverse famiglie di modelli. Questi embedding numerici sono intercambiabili in molti contesti sperimentali. La ricerca mostra che tenere conto adeguatamente di questa universalità è cruciale per valutare con quanta precisione gli LLM codificano informazioni numeriche e ordinali. Migliorare meccanicamente la sinusoidalità può ridurre gli errori aritmetici negli LLM.
Fatti principali
- Gli LLM convergono a embedding di input sinusoidali accurati per i numeri.
- Le rappresentazioni numeriche sono quasi perfettamente universali tra diverse famiglie di LLM.
- Gli embedding numerici sono ampiamente intercambiabili in molti contesti sperimentali.
- Considerare adeguatamente l'universalità è cruciale per valutare l'accuratezza della codifica numerica.
- Migliorare la sinusoidalità può ridurre gli errori aritmetici negli LLM.
Entità
Istituzioni
- arXiv