Reason Popper-ly: Quadro Neurosymbolico per il Ragionamento degli LLM

I ricercatori hanno introdotto Reason Popper-ly, un quadro neurosimbolico che sfrutta la programmazione logica induttiva (ILP) per derivare regole per la composizione di relazioni da tracce di ragionamento. Questo quadro funge da verificatore online per correzioni a livello di passo nei grandi modelli linguistici (LLM). Quando viene fornita una traccia di catena di pensiero generata da un LLM, l'approccio valuta ogni passo inferito rispetto a una tabella di regole apprese, identifica i tipi di violazioni, corregge i passi errati utilizzando modifiche derivate simbolicamente e rigenera il suffisso rimanente per garantire che il modello produca una risposta finale basata su una traccia verificata. Il quadro è stato testato su CLUTRR, un benchmark di ragionamento su relazioni di parentela a più salti, utilizzando cinque modelli linguistici su catene di ragionamento da 2 a 10 salti, migliorando costantemente l'accuratezza terminale rispetto al prompting standard a catena di pensiero.