Patch a basso rango dello stato nascosto consentono rollback controfattuali nei modelli del mondo appresi

Un recente preprint su arXiv (2608.15156) esplora il potenziale di modifiche minori e direttamente indirizzabili allo stato nascosto di un modello del mondo ricorrente per influenzare la sua traiettoria verso un esito controfattuale. Utilizzando un ambiente controllato con due oggetti in due dimensioni e uno stato nascosto a 192 dimensioni, lo studio dimostra che il modello può rappresentare e proiettare intrinsecamente futuri modificati per un insieme limitato di aggiustamenti locali di velocità. I ricercatori creano vettori candidati a basso rango dalle differenze di stato nascosto fattuale-controfattuale osservate durante l'addestramento e sviluppano una mappatura dallo stato fattuale e dalla modifica desiderata ai coefficienti di questi vettori. Il rango più piccolo testato che soddisfa i criteri del pannello di sviluppo completo è il rango 4. Una singola patch di rango 4 all'ancora consente efficacemente il rollout controfattuale desiderato, migliorando l'interpretabilità dei modelli del mondo individuando quali componenti dello stato nascosto influenzano le previsioni. L'articolo è disponibile su arXiv con l'identificatore 2608.15156.