Miglioramento della Coerenza Comportamentale degli LLM tramite Imposizione dello Stato Fatto-Euristico-Emozione
Un recente articolo di ricerca pubblicato su arXiv presenta il Cognitive Kernel Model (CKM), un meccanismo a livello di prompt volto a valutare e mitigare le incoerenze comportamentali nei grandi modelli linguistici (LLM) senza modificarne i pesi. Il CKM costringe i modelli a classificare l'input in tre categorie epistemiche: Fatto (verificabile o dato), Euristico (assunto o inferito) ed Emozione (segnale di priorità o valutativo), mantenendo uno stato organizzato S_t = {F_t, H_t, E_t} che viene aggiornato tramite una funzione di transizione. Lo studio ha analizzato 26 LLM di quattro diversi fornitori in scenari decisionali in lingua coreana, comprendenti ambiguità, dilemmi etici, distribuzione delle risorse e gestione degli errori, risultando in 37.403 osservazioni in quattro esperimenti principali. I risultati suggeriscono che il CKM può ridurre in qualche misura l'instabilità, per cui gli LLM forniscono risposte variabili a identici problemi decisionali in esecuzioni diverse o invertono le loro decisioni quando le risposte precedenti vengono reintrodotte come contesto. Questo metodo non introduce nuove capacità ma garantisce il tracciamento dei tipi di informazione prima del processo decisionale.
Fatti principali
- Il Cognitive Kernel Model (CKM) è un livello di imposizione dello stato a livello di prompt
- Il CKM separa l'input in ruoli di Fatto, Euristico ed Emozione
- Mantiene uno stato strutturato S_t = {F_t, H_t, E_t}
- Valutato su scenari decisionali in lingua coreana
- Testato su 26 LLM di quattro fornitori
- Totale di 37.403 osservazioni
- Condotti quattro esperimenti principali
- Il CKM riduce l'incoerenza comportamentale senza modificare i pesi del modello
Entità
Istituzioni
- arXiv