Tre Regimi del Conflitto Contesto-Parametrico nei LLM
Un nuovo articolo su arXiv (2605.11574v1) propone un quadro a tre regimi per risolvere le contraddizioni nel modo in cui i grandi modelli linguistici gestiscono i conflitti tra conoscenza di addestramento e documenti contraddittori. Studi precedenti hanno scoperto che i modelli o mantengono ostinatamente le risposte apprese (ignorando i documenti quasi la metà delle volte) o si affidano al contesto (circa il 96% delle volte). Gli autori sostengono che queste contraddizioni sorgono perché gli esperimenti hanno studiato tre situazioni di elaborazione distinte senza distinguerle. Il Regime 1 (aggiornamento a fonte singola) è previsto dalla coerenza delle prove; il Regime 2 (integrazione competitiva) dalla certezza parametrica; il Regime 3 (selezione appropriata al compito) dal requisito di conoscenza del compito. Il quadro formalizza una distinzione tra forza parametrica (frequenza di esposizione) e unicità parametrica.
Fatti principali
- L'articolo arXiv 2605.11574v1 propone un quadro a tre regimi per il conflitto contesto-parametrico nei LLM.
- Studi precedenti mostrano risultati contraddittori: i modelli ignorano i documenti ~50% delle volte vs si affidano ~96%.
- Regime 1: aggiornamento a fonte singola, previsto dalla coerenza delle prove.
- Regime 2: integrazione competitiva, prevista dalla certezza parametrica.
- Regime 3: selezione appropriata al compito, prevista dal requisito di conoscenza del compito.
- Il quadro distingue la forza parametrica (frequenza di esposizione) dall'unicità parametrica.
- Gli autori sostengono che le contraddizioni si dissolvono quando si distinguono le tre situazioni di elaborazione.
- L'articolo fornisce una validazione empirica del quadro.
Entità
Istituzioni
- arXiv