GTEval: Valutazione della Comprensione dei Token Grafici nei LLM
Un nuovo pipeline di valutazione chiamato GTEval valuta sistematicamente se i Large Language Models che tokenizzano i grafi (GTokenLLMs) comprendono realmente i token grafici nello spazio di embedding del linguaggio naturale. Lo studio, pubblicato su arXiv (2605.03514), testa sei GTokenLLM rappresentativi utilizzando trasformazioni delle istruzioni a livello di formato e contenuto. I risultati iniziali rivelano che i modelli esistenti non comprendono appieno i token grafici, mettendo in discussione l'ipotesi prevalente che i LLM possano elaborare efficacemente i dati grafici attraverso la tokenizzazione.
Fatti principali
- GTEval è un nuovo pipeline di valutazione per GTokenLLM.
- Lo studio testa 6 GTokenLLM rappresentativi.
- Le trasformazioni delle istruzioni vengono applicate a livello di formato e contenuto.
- I GTokenLLM esistenti non comprendono appieno i token grafici.
- L'articolo è pubblicato su arXiv con ID 2605.03514.
- La ricerca mette in discussione la convinzione che i LLM comprendano efficacemente i grafi tramite tokenizzazione.
Entità
Istituzioni
- arXiv