Fusione Consapevole dei Conflitti: Mitigare l'Inerzia Logica nei LLM
Un nuovo quadro diagnostico ha scoperto l'Inerzia Logica nei grandi modelli linguistici (LLM), dove questi modelli continuano lungo percorsi deduttivi consolidati nonostante premesse incoerenti. Questo quadro comprende quattro test di stress: rimozione di regole essenziali vs. ridondanti, iniezione di regole contraddittorie, riscritture che preservano la logica e sovrapposizione di più leggi. Valutato su LLM generativi (Qwen2/3, TinyLlama, GPT-4o, Gemma-3-4B-IT) insieme al baseline encoder-only BERT, l'accuratezza crolla da 1.00 nel compito base a 0.00 quando viene applicata l'iniezione di contraddizioni (corrispondenza esatta a livello di istanza). GPT-4o affronta solo il 56.0% degli scenari di contraddizione. Il rimedio suggerito, Fusione Consapevole dei Conflitti, è un pipeline di addestramento in quattro fasi che privilegia la verifica prima della deduzione, iniziando con SFT per creare il preambolo di verifica.
Fatti principali
- L'Inerzia Logica è la tendenza dei LLM a persistere lungo traiettorie deduttive apprese in presenza di premesse incoerenti.
- Il quadro diagnostico include quattro test di stress: eliminazione di regole ridondanti vs. essenziali, iniezione di regole contraddittorie, riscritture che preservano la logica e sovrapposizione di più leggi.
- Modelli testati: Qwen2/3, TinyLlama, GPT-4o, Gemma-3-4B-IT e baseline BERT.
- L'accuratezza scende da 1.00 a 0.00 sull'iniezione di contraddizioni (corrispondenza esatta a livello di istanza).
- GPT-4o risolve solo il 56.0% dei casi di contraddizione.
- La Fusione Consapevole dei Conflitti è un pipeline di addestramento in quattro fasi che impone la verifica prima della deduzione.
- Prima fase: SFT stabilisce il preambolo di verifica.
- Il quadro è progettato per sistemi basati su regole.
Entità
—