Verifica della formalizzazione LLM tramite riparazione roundtrip
Una nuova tecnica garantisce che l'autoformalizzazione LLM rimanga fedele al linguaggio naturale senza fare affidamento su annotazioni di verità fondamentali. Questo metodo di verifica roundtrip prevede la formalizzazione di un'affermazione, la sua ritraduzione, la ri-formalizzazione e quindi la valutazione dell'equivalenza logica tramite uno strumento formale. L'accordo nelle formalizzazioni indica fedeltà, mentre le discrepanze portano a una fase diagnostica che individua il punto di fallimento della traduzione, seguita da un operatore di riparazione specifico per la correzione. I test su 150 regole del traffico con Claude Opus 4.6 e GPT-5.2 hanno mostrato che la riparazione guidata dalla diagnosi ha migliorato l'equivalenza formale dal 45–61% all'83–85% per entrambi i modelli, superando un benchmark di riparazione casuale. Un'analisi NLI indipendente ha validato che l'equivalenza formale è collegata a una ridotta deriva semantica. Questa ricerca è stata presentata su arXiv (ID 2604.25031) nella categoria Computer Science > Computation and Language.
Fatti principali
- La verifica roundtrip non richiede annotazioni di verità fondamentali.
- Approccio: formalizzare, ritradurre, ri-formalizzare, verificare l'equivalenza logica.
- La fase di diagnosi identifica in quale fase della traduzione si è verificato il fallimento.
- Un operatore di riparazione mirato corregge la fase fallita.
- Valutato su 150 regole del traffico.
- Modelli utilizzati: Claude Opus 4.6 e GPT-5.2.
- L'equivalenza formale è aumentata dal 45–61% all'83–85%.
- Baseline di riparazione casuale superata.
- Analisi NLI indipendente conferma la correlazione con una minore deriva semantica.
- Presentato su arXiv sotto Computer Science > Computation and Language.
Entità
Istituzioni
- arXiv