IM-LEPP: Un modello gerarchico basato sull'energia per la cognizione multimodale
Uno studio recente pubblicato su arXiv (2608.12398) presenta IM-LEPP (Integrated Multimodal Latent Energy-based Predictive Processing), un modello gerarchico basato sull'energia che estende il framework LEPP a singola modalità incorporando sia la visione che il linguaggio. Questo modello considera la cognizione come stati latenti che navigano attraverso paesaggi energetici appresi, in parallelo con concetti della meccanica statistica e della termodinamica. Presenta un'architettura hub-and-spoke basata sul framework di cognizione semantica controllata proposto da Lambon Ralph et al., in cui i percorsi di codifica predittiva per oggetti visivi, scene ed elementi linguistici convergono su un hub amodale comune che ricorda il lobo temporale anteriore. È importante notare che le previsioni di ciascun percorso sono influenzate dallo stato dell'hub, mantenendo informazioni uniche del percorso. L'articolo è classificato come annuncio di tipo incrociato ed è accessibile all'indirizzo https://arxiv.org/abs/2608.12398.
Fatti principali
- IM-LEPP estende il modello LEPP a singola modalità per integrare visione e linguaggio.
- Il modello è gerarchico e basato sull'energia, trattando la cognizione come stati latenti che fluiscono attraverso paesaggi energetici.
- Stabilisce un'analogia tra reti neurali generative e meccanica statistica.
- L'architettura utilizza una gerarchia hub-and-spoke basata sul framework di cognizione semantica controllata di Lambon Ralph et al.
- I percorsi di codifica predittiva per oggetti visivi, scene e unità linguistiche convergono su un hub amodale condiviso.
- L'hub è modellato sul lobo temporale anteriore.
- La previsione di ciascun percorso è condizionata dallo stato corrente dell'hub, non sovrascritta.
- L'articolo è disponibile su arXiv con ID 2608.12398.
Entità
Istituzioni
- arXiv