Teoria dell'informazione semantica per LLM: dal BIT al TOKEN
Un nuovo quadro teorico propone una teoria dell'informazione semantica per i grandi modelli linguistici, spostandosi dal classico BIT al TOKEN come unità fondamentale di significato. La teoria sintetizza fisica statistica, elaborazione di segnali continui e teoria classica dell'informazione per fornire una base rigorosa per comprendere i LLM, superando approcci euristici e sperimentali. Il lavoro mira a smantellare la scatola nera epistemologica dei LLM stabilendo primi principi.
Fatti principali
- L'articolo è intitolato 'Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs'
- È pubblicato su arXiv con ID 2511.01202
- La teoria propone un cambiamento di paradigma dal BIT al TOKEN come vettore atomico di significato
- Sintetizza fisica statistica, elaborazione di segnali continui e teoria classica dell'informazione
- Il lavoro mira a fornire una rigorosa elucidazione teorica dei LLM
- L'attuale ricerca sui LLM è descritta come euristica e guidata sperimentalmente
- Il quadro è inteso a smantellare la scatola nera epistemologica dei LLM
Entità
Istituzioni
- arXiv