Il Ragionamento Composizionale Strutturato Migliora le Prestazioni dei LLM su Domande Logiche Composte

Un nuovo framework per il ragionamento composizionale strutturato migliora le prestazioni dei modelli linguistici di grandi dimensioni (LLM) su domande logiche complesse. Scomponendo le opzioni di risposta composte in singole risposte atomiche e impiegando un punteggio di ipotesi contrastivo, questo metodo utilizza un programma lineare intero vincolato da operatori per compilare efficacemente i punteggi. Le valutazioni su LOGICAL-COMMONSENSEQA e sul nuovo benchmark LOGICAL-SATA mostrano miglioramenti significativi, con punteggi Macro-F1 che salgono rispettivamente da 48,3 a 77,0 e da 47,0 a 75,6. In particolare, i maggiori progressi sono stati osservati nelle risposte NEITHER/NOR. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.12836.