La ricerca dimostra che la linearità locale nei LLM consente lo steering delle attivazioni tramite controllo ottimale lineare

Uno studio recente rivela che i grandi modelli linguistici (LLM) mostrano linearità locale nella loro dinamica attraverso i vari strati, facilitando un miglior steering delle attivazioni durante l'inferenza. Il documento, disponibile su arXiv con l'identificatore 2604.19018v1, illustra che nonostante la natura non lineare dei blocchi transformer, la dinamica di varie architetture LLM può essere approssimata utilizzando modelli localmente lineari. Questa caratteristica consente di modellare l'inferenza LLM come un sistema dinamico lineare tempo-variante, permettendo l'adattamento delle tradizionali tecniche del regolatore quadratico lineare per il calcolo del controllore a retroazione. Utilizzando jacobiani strato per strato, il metodo guida le attivazioni verso specifici target semantici con costo computazionale minimo e senza necessità di addestramento offline. A differenza dei metodi esistenti che spesso trascurano la propagazione delle perturbazioni e mancano di feedback degli errori in tempo reale, questa ricerca fornisce sia limiti teorici che supporto empirico per il concetto di linearità locale, rappresentando un notevole miglioramento nelle strategie di allineamento durante l'inferenza per i LLM.