La ricerca sull'IA rivela le significative difficoltà dei LLM nella comprensione del linguaggio astratto
I grandi modelli linguistici, incluso GPT-4o, affrontano sfide inaspettate nella comprensione dei significati astratti, secondo una ricerca presentata a SemEval-2021 Task 4 (ReCAM). Lo studio ha valutato la capacità dei modelli di interpretare concetti non concreti attraverso passaggi cloze con opzioni astratte. Modelli fine-tuned come BERT e RoBERTa hanno superato i LLM in contesti zero-shot, one-shot e few-shot. Un classificatore di attenzione bidirezionale ispirato alle strategie cognitive umane ha migliorato l'accuratezza del 4,06% sul Task 1 e del 3,41% sul Task 2. Questo approccio presta attenzione dinamica sia ai passaggi che alle opzioni, dimostrando potenziale per migliorare la comprensione del significato astratto. La ricerca evidenzia un divario cruciale nelle capacità avanzate di comprensione del linguaggio.
Fatti principali
- I grandi modelli linguistici hanno difficoltà nella comprensione del significato astratto
- GPT-4o incontra difficoltà in contesti zero-shot, one-shot e few-shot
- I modelli fine-tuned BERT e RoBERTa performano meglio dei LLM
- SemEval-2021 Task 4 (ReCAM) valuta l'interpretazione di concetti astratti
- Il classificatore di attenzione bidirezionale migliora l'accuratezza del 4,06% sul Task 1
- Lo stesso classificatore migliora l'accuratezza del 3,41% sul Task 2
- Le parole astratte rimangono impegnative a causa della semantica non concreta e di alto livello
- La ricerca è stata presentata attraverso la piattaforma di pubblicazione arXiv
Entità
Istituzioni
- arXiv
- SemEval