Circuiti Probabilistici vs LLM: Analisi del Gap di Espressività
Uno studio recente pubblicato su arXiv esamina le differenze tra i Circuiti Probabilistici (PC) e i grandi modelli linguistici basati su Transformer (LLM) utilizzando un approccio autoregressivo unificato, rivelando due limitazioni significative. La prima è un collo di bottiglia in uscita, dove i PC rappresentano le previsioni come combinazioni convesse nello spazio delle probabilità, faticando con distribuzioni linguistiche nette; tuttavia, l'uso della parametrizzazione nello spazio dei logit aiuta a mitigare questo problema. La seconda limitazione riguarda la codifica del contesto: mentre i PC strutturati-decomponibili possono raggiungere lo stesso rango di separazione dei Transformer su partizioni allineate al vtree, la loro capacità è limitata da strutture di routing fisse, portando a un calo delle prestazioni con dipendenze eterogenee. Questa ricerca sottolinea sia i vincoli teorici che empirici dei PC nella modellazione linguistica.
Fatti principali
- 1. I Circuiti Probabilistici (PC) sono modelli generativi profondi che supportano l'inferenza probabilistica esatta.
- 2. I PC sono in ritardo rispetto agli LLM basati su Transformer nella modellazione linguistica autoregressiva.
- 3. Collo di bottiglia in uscita: i PC usano combinazioni convesse nello spazio delle probabilità, faticando con distribuzioni nette.
- 4. La parametrizzazione nello spazio dei logit riduce sostanzialmente il collo di bottiglia in uscita.
- 5. Collo di bottiglia nella codifica del contesto: i PC strutturati-decomponibili eguagliano il rango di separazione dei Transformer solo su partizioni allineate al vtree.
- 6. La capacità dei PC è limitata a partizioni allineate con la struttura di routing fissa.
- 7. Dipendenze eterogenee causano un grave degrado delle prestazioni dei PC.
- 8. Lo studio proviene dal preprint arXiv 2605.12940v1.
Entità
Istituzioni
- arXiv