MGSM-Pro: Nuovo Benchmark per il Ragionamento Matematico Multilingue nei LLM

I ricercatori hanno introdotto MGSM-Pro, un benchmark multilingue per il ragionamento matematico che estende il dataset MGSM con l'approccio di istanziazione di GSM-Symbolic. Il dataset fornisce cinque variazioni per domanda modificando nomi, cifre e contesto irrilevante. Le valutazioni in nove lingue rivelano significativi cali di performance per le lingue a basse risorse sulle variazioni di cifre. La robustezza dei modelli nelle lingue ad alte risorse non si trasferisce a quelle a basse risorse. Sono stati testati modelli proprietari come Gemini 2.5 Flash e GPT-4.1.