Generalizzazione multilingue dei LLM legata alle strutture di similarità linguistica
Uno studio recente pubblicato su arXiv (2607.22699) esplora le sfide affrontate dai grandi modelli linguistici (LLM) nel generalizzare tra diverse lingue, in particolare quelle sottorappresentate nei loro dataset di addestramento. Gli autori, utilizzando intuizioni dalle scienze cognitive, sostengono che una generalizzazione efficace si basa su rappresentazioni adeguate nello spazio di similarità. I loro risultati indicano che le rappresentazioni latenti dei LLM riflettono in gran parte l'organizzazione gerarchica dell'albero della famiglia linguistica indoeuropea, raggruppando lingue simili in prossimità. Ciò implica che le capacità multilingue di questi modelli sono collegate alla loro capacità di rappresentare accuratamente le strutture di similarità a livello linguistico.
Fatti principali
- L'articolo arXiv 2607.22699 esamina la generalizzazione multilingue dei LLM.
- I LLM hanno difficoltà con lingue diverse dall'inglese e quelle scarsamente attestate nei dati di addestramento.
- Le scienze cognitive suggeriscono che la generalizzazione si basa su rappresentazioni nello spazio di similarità.
- Le rappresentazioni latenti dei LLM recuperano la gerarchia dell'albero della famiglia linguistica indoeuropea.
- Le lingue della stessa sottofamiglia sono raggruppate strettamente nello spazio di rappresentazione.
- Lo studio mira a capire perché alcuni modelli generalizzano meglio in contesti multilingue.
- La ricerca si concentra sulle strutture di similarità gerarchiche tra lingue distinte.
- I risultati indicano che la qualità della rappresentazione influisce sulle prestazioni cross-linguistiche.
Entità
—