SymStep porta il ragionamento logico degli LLM al 100% su benchmark chiave

Un nuovo approccio chiamato SymStep migliora significativamente le capacità dei grandi modelli linguistici (LLM) nel gestire compiti di ragionamento logico ricchi di vincoli. Questa tecnica costringe un LLM ad affermare un'asserzione atomica alla volta (ad esempio, "DEDUCE: Alice, animale domestico, Gatto"), seguita da un propagatore di vincoli leggero che verifica la coerenza dell'asserzione con le deduzioni precedentemente accettate, scartando le contraddizioni e inferendo automaticamente i fatti impliciti. Una versione migliorata, SymStep+G, offre una guida MRV (Minimum Remaining Values) dopo ogni affermazione accettata, indirizzando l'LLM verso la variabile irrisolta più vincolata. Nei test su un sottoinsieme di 35 puzzle di ZebraLogicBench, SymStep+G ha raggiunto il 97%, mentre sia il prompting diretto che il Chain-of-Thought (CoT) hanno ottenuto lo 0%. SymStep ha raggiunto il 100% sui compiti di ragionamento analitico AR-LSAT rispetto all'87% del CoT. Su LGP-14, SymStep+G ha anche ottenuto il 100%, mentre CoT e Logic-LM, il precedente baseline simbolico+LLM più forte, hanno entrambi ottenuto lo 0%. Studi di ablazione indicano che la guida MRV è essenziale per prestazioni ottimali. Questo metodo risolve le carenze del prompting CoT in compiti ricchi di vincoli, dove errori non verificati possono accumularsi inosservati. La ricerca è accessibile su arXiv con ID 2607.23055.