Nuova tassonomia classifica le capacità dei LLM in 14 domini
Un framework multilivello recentemente sviluppato per valutare i grandi modelli linguistici categorizza le abilità in 14 domini e 91 sottocompetenze, strutturati su livelli Primitivo, Costruito e Integrativo. Questo modello, basato sulla scienza cognitiva umana piuttosto che sull'architettura dei LLM, mira a consolidare risultati di valutazione disparati. I ricercatori hanno esaminato 31.505 pubblicazioni da ACL, AAAI, ICML e NeurIPS (2023-2025), annotando 15.934 articoli incentrati sui LLM. La tassonomia indica un focus significativo su Linguaggio-Semantica, evidenziando carenze di copertura esistenti.
Fatti principali
- La tassonomia ha 14 domini di capacità e 91 sottocompetenze.
- Livelli: Primitivo, Costruito, Integrativo.
- Guidata dalla scienza cognitiva umana, non dall'architettura dei LLM.
- Esaminati 31.505 articoli da ACL, AAAI, ICML, NeurIPS.
- Mappati 15.934 articoli incentrati sui LLM (2023-2025).
- Utilizzata annotazione multi-modello, consenso e arbitrato.
- L'attenzione della ricerca diretta è concentrata su Linguaggio-Semantica.
Entità
Istituzioni
- ACL
- AAAI
- ICML
- NeurIPS