La selezione della fonte di attivazione influisce significativamente sul controllo nei modelli linguistici
Un nuovo studio su arXiv (2607.25270) indaga la selezione della fonte di attivazione nel controllo dei modelli linguistici. Il controllo tramite attivazione modifica il comportamento del modello aggiungendo vettori agli stati nascosti durante l'inferenza, ma la scelta delle attivazioni di origine è spesso trascurata. La ricerca mostra, su tre modelli istruiti e quattro famiglie di compiti, che cambiare il contesto di origine e la politica di lettura altera sostanzialmente il successo del controllo. Segnali di controllo efficaci provengono da stati al confine dell'esecuzione, dove il modello sta per produrre il comportamento target, non semplicemente dal fatto che il comportamento desiderato appaia nel testo di origine. Questa distinzione pre-/post-realizzazione spiega perché le fonti basate su risposte a volte funzionano.
Fatti principali
- Il paper arXiv 2607.25270 studia la selezione della fonte di attivazione nel controllo dei modelli linguistici.
- Il controllo tramite attivazione aggiunge vettori o caratteristiche agli stati nascosti durante l'inferenza.
- La scelta della fonte coinvolge il contesto di origine e la politica di lettura delle attivazioni.
- Sono stati testati tre modelli istruiti e quattro famiglie di compiti di controllo.
- Cambiare le attivazioni di origine modifica sostanzialmente il successo del controllo.
- Segnali di controllo efficaci provengono da stati al confine dell'esecuzione.
- Gli stati al confine dell'esecuzione sono quelli in cui il modello sta per produrre o continuare il comportamento target.
- La distinzione pre-/post-realizzazione spiega perché le fonti basate su risposte a volte funzionano.
Entità
Istituzioni
- arXiv