Amplitude Gating: Intervento FFN Non Distruttivo per l'Inferenza Strutturata degli LLM basata su Strumenti

Un recente articolo su arXiv (2607.11183v2) introduce l'Amplitude Gating (AG), un metodo innovativo per migliorare le uscite strutturate nelle reti feed-forward (FFN) dei grandi modelli linguistici (LLM) durante l'inferenza, senza la necessità di riaddestrare i pesi. Questo studio è evoluto dall'Ortogonal Residual Projection (ORP), che mirava a correggere le uscite modificando le direzioni dei pesi ma spesso portava a effetti dannosi, evidenziando aree di intervento sensibili nelle FFN SwiGLU. Al contrario, AG mantiene le direzioni originali dei pesi delle FFN e regola solo le ampiezze di attivazione durante la generazione delle uscite. Gli autori stabiliscono un quadro di intervento dettagliato che include P1/P2/P3 e siti di ramificazione specifici. Propongono anche un metodo di valutazione che distingue tra headroom combinato-oracolo e configurazioni fisse, garantendo una responsabilità a livello di campione con metriche sensibili al compito. Sebbene l'articolo fornisca risultati empirici su più modelli, non specifica modelli particolari o metriche di prestazione nell'abstract. Questa ricerca affronta il problema dei piccoli errori negli agenti che usano strumenti, che possono minare uscite altrimenti credibili. Il suo approccio non distruttivo potrebbe rappresentare un'alternativa più sicura alla modifica dei pesi. L'articolo completo è disponibile su arXiv con l'identificatore 2607.11183.