CNSL-bench: Nuovo benchmark valuta la comprensione della lingua dei segni cinese da parte dei MLLM
I ricercatori hanno introdotto CNSL-bench, il primo benchmark completo progettato per valutare la capacità dei modelli linguistici multimodali su larga scala (MLLM) di comprendere la lingua dei segni cinese nazionale. Il benchmark si basa sul Dizionario nazionale standardizzato della lingua dei segni comune, garantendo definizioni semantiche autorevoli e coerenti. Fornisce una copertura multimodale con descrizioni testuali allineate, immagini illustrative e video in lingua dei segni. CNSL-bench supporta anche un'analisi granulare delle principali forme articolatorie manuali, affrontando l'area poco esplorata della comprensione della lingua dei segni nei LLM.
Fatti principali
- CNSL-bench è il primo benchmark completo per valutare la comprensione della lingua dei segni cinese nazionale da parte dei MLLM.
- È ancorato al Dizionario nazionale standardizzato della lingua dei segni comune.
- Il benchmark include descrizioni testuali allineate, immagini illustrative e video in lingua dei segni.
- Supporta un'analisi granulare delle principali forme articolatorie manuali.
- La ricerca evidenzia la capacità intrinseca poco esplorata dei LLM di comprendere la lingua dei segni in contesti multimodali.
- Il benchmark mira a mitigare l'ambiguità derivante da varianti regionali o non canoniche.
- Il lavoro è pubblicato su arXiv con identificativo 2604.22367.
- La ricerca è motivata dai progressi nei modelli linguistici di grandi dimensioni.
Entità
—