I LLM apprendono modelli di Markov nascosti in contesto
Un nuovo studio da arXiv (2506.07298v3) dimostra che i modelli linguistici di grandi dimensioni (LLM) pre-addestrati possono apprendere modelli di Markov nascosti (HMM) attraverso l'apprendimento in contesto (ICL), raggiungendo un'accuratezza predittiva quasi ottimale su dati sintetici. La ricerca rivela nuove tendenze di scala legate alle proprietà degli HMM e offre congetture teoriche. Su compiti reali di decisione animale, l'ICL eguaglia i modelli progettati da esperti. Questa è la prima evidenza che l'ICL può apprendere modelli grafici probabilistici.
Fatti principali
- Articolo arXiv 2506.07298v3
- Gli LLM modellano HMM tramite apprendimento in contesto
- L'accuratezza predittiva si avvicina all'ottimo teorico su HMM sintetici
- Nuove tendenze di scala influenzate dalle proprietà degli HMM
- Congetture teoriche per osservazioni empiriche
- Linee guida pratiche per scienziati che usano l'ICL come strumento diagnostico
- Prestazioni competitive su compiti reali di decisione animale
- Prima dimostrazione che l'ICL può apprendere modelli grafici probabilistici
Entità
Istituzioni
- arXiv