Il Controllo della Proiezione Ontologica Algebrica Previene il Collasso Logico degli LLM
Uno studio recente presenta la Proiezione Ontologica Algebrica (AOP), una tecnica che mappa gli stati nascosti dei grandi modelli linguistici nel Campo di Galois F2, rispettando i vincoli del Principio di Sostituzione di Liskov. Utilizzando solo 42 coppie relazionali come chiavi algebriche, AOP raggiunge un notevole 93,33% di accuratezza zero-shot nell'inclusione di coppie di concetti nuovi con Gemma-2 Instruct e prompt ottimizzati, mantenendo un costante 86,67% di accuratezza attraverso varie famiglie di modelli—ottenuto esclusivamente tramite prompt senza alcuna modifica del modello. La struttura algebrica è notevolmente dipendente dagli strati. Inoltre, gli autori propongono la Cristallizzazione Semantica (SC), una metrica che misura la soddisfazione dei vincoli F2 rispetto a una baseline casuale e prevede l'accuratezza zero-shot senza bisogno di dati esclusi. I prompt di sistema fungono da condizioni al contorno algebriche; la loro integrazione con l'instruction tuning è essenziale per prevenire il Collasso degli Strati Tardivi, un declino del ragionamento logico. Questa ricerca è disponibile su arXiv con ID 2605.12968.
Fatti principali
- Metodo chiamato Proiezione Ontologica Algebrica (AOP) proietta gli stati nascosti degli LLM nel Campo di Galois F2.
- Utilizza i vincoli del Principio di Sostituzione di Liskov.
- Solo 42 coppie relazionali sono usate come chiavi algebriche.
- Raggiunge fino al 93,33% di accuratezza zero-shot nell'inclusione di coppie di concetti non visti.
- Testato su Gemma-2 Instruct con prompt ottimizzato.
- Accuratezza costante dell'86,67% osservata attraverso multiple famiglie di modelli.
- Nessuna regolazione del modello richiesta; solo ingegneria dei prompt.
- La struttura algebrica è fortemente dipendente dagli strati.
- La metrica di Cristallizzazione Semantica (SC) quantifica la soddisfazione dei vincoli F2.
- SC prevede l'accuratezza zero-shot senza dati esclusi.
- I prompt di sistema fungono da condizioni al contorno algebriche.
- La combinazione di prompt di sistema e instruction tuning previene il Collasso degli Strati Tardivi.
- Articolo pubblicato su arXiv (ID: 2605.12968).
Entità
Istituzioni
- arXiv