ReaComp: Compilare il Ragionamento degli LLM in Risolutori Simbolici per una Sintesi Efficiente di Programmi
ReaComp è un approccio innovativo che trasforma le tracce di ragionamento degli LLM in sintetizzatori di programmi simbolici riutilizzabili, progettati per linguaggi specifici di dominio (DSL) vincolati. Questi risolutori non richiedono chiamate LLM durante il test e raggiungono un'impressionante accuratezza del 91,3% su PBEBench-Lite e dell'84,7% su PBEBench-Hard, superando gli LLM di +16,3 punti percentuali sul set difficile senza incorrere in costi di inferenza. In un contesto ibrido neuro-simbolico, ReaComp aumenta l'accuratezza su PBEBench-Hard dal 68,4% all'85,8% riducendo al contempo l'uso di token del 78%, e migliora l'accuratezza del livello difficile di SLR-Bench dal 34,4% al 58,0%. I risolutori generati sono più Pareto-efficienti rispetto agli agenti di codifica come risolutori per istanza, comportando solo un costo una tantum minimo.
Fatti principali
- ReaComp compila le tracce di ragionamento degli LLM in sintetizzatori di programmi simbolici su DSL vincolati.
- Gli insiemi di risolutori simbolici raggiungono un'accuratezza del 91,3% su PBEBench-Lite e dell'84,7% su PBEBench-Hard.
- Supera gli LLM con scaling al momento del test su PBEBench-Hard di +16,3 punti percentuali a costo zero di inferenza LLM.
- Migliora l'accuratezza su PBEBench-Hard dal 68,4% all'85,8% riducendo l'uso di token del 78%.
- Aumenta l'accuratezza del livello difficile di SLR-Bench dal 34,4% al 58,0% in un contesto ibrido neuro-simbolico.
- I risolutori indotti sono più Pareto-efficienti degli agenti di codifica per istanza.
Entità
—