LLM testati sulla generalizzazione semantica con costruzioni frasali
Un nuovo dataset di valutazione sfrutta la Grammatica delle Costruzioni (CxG) per testare se i grandi modelli linguistici (LLM) possono generalizzare oltre la memorizzazione per comprendere nuove costruzioni frasali. Il dataset, derivato da costruzioni frasali inglesi, valuta se i modelli colgono significati astratti legati a forme sintattiche, rispecchiando la capacità umana di interpretare istanziazioni creative. Lo studio affronta la sfida di distinguere la competenza linguistica su dati di pre-addestramento ben rappresentati dalla generalizzazione fuori dominio. Il preprint arXiv (2501.04661) introduce una valutazione diagnostica per la comprensione del linguaggio naturale, focalizzandosi sulla generalizzazione semantica negli LLM.
Fatti principali
- arXiv:2501.04661v3
- Tipo di annuncio: replace-cross
- Utilizza il quadro della Grammatica delle Costruzioni (CxG)
- Valuta la generalizzazione semantica negli LLM
- Il dataset è composto da costruzioni frasali inglesi
- Testa la comprensione di significati astratti e non lessicali
- Si concentra sulla generalizzazione linguistica fuori dominio
- Confronta le prestazioni del modello con le capacità dei parlanti umani
Entità
Istituzioni
- arXiv