Nuovo Benchmark Culturale Arabo per QA Mette alla Prova i Modelli Linguistici su Varianti Dialettali e Domande Aperte

Un nuovo metodo di ricerca propone un benchmark completo per il question-answering culturale arabo che affronta le lacune nelle prestazioni dei grandi modelli linguistici. L'approccio traduce domande a scelta multipla in arabo standard moderno in inglese e diversi dialetti arabi, per poi convertirle in formati a risposta aperta. I ricercatori hanno testato una gamma di LLM sia in modalità zero-shot che fine-tuned, sia in contesti a scelta multipla che a risposta aperta. Il metodo genera anche razionalizzazioni a catena di pensiero per affinare i modelli per un ragionamento passo-passo. Utilizzando questo approccio, i ricercatori hanno esteso un dataset esistente in cui domande e risposte sono allineate parallelamente attraverso molteplici varietà linguistiche. Sono stati condotti esperimenti estesi sia con modelli open che closed. I risultati rivelano che i modelli ottengono costantemente prestazioni inferiori sui dialetti arabi, evidenziando lacune persistenti nei contenuti culturalmente radicati. Il dataset rappresenta quello che i ricercatori ritengono essere il primo del suo genere per le varietà della lingua araba.