Il Benchmark ProverbIT Rivela le Difficoltà dei LLM con i Proverbi Italiani

Un recente articolo di ricerca presenta ProverbIT, un insieme di 100 domande a scelta multipla volte a valutare i modelli linguistici di grandi dimensioni (LLM) sui proverbi italiani. L'indagine analizza 13 modelli avanzati, che includono sia modelli di ragionamento di grandi dimensioni (LRM) che LLM convenzionali, attraverso tre compiti specifici: completare i proverbi, rispondere a domande a scelta multipla con risposte corrette e affrontare domande a scelta multipla senza risposte corrette. I risultati indicano che, sebbene la maggior parte dei modelli eccella nei compiti di completamento, le loro prestazioni diminuiscono significativamente negli scenari a scelta multipla privi di risposte corrette, anche tra i migliori modelli di ragionamento. Questa ricerca sottolinea i limiti dei LLM nel comprendere espressioni linguistiche radicate nella cultura. L'articolo è disponibile su arXiv con ID 2608.04670.