Residual Paving: Diagnosi del Collo di Bottiglia nel Routing per l'Editing Selettivo del Rifiuto
Una tecnica innovativa chiamata Residual Paving affronta il problema dell'editing selettivo del rifiuto nei transformer istruiti tramite fine-tuning, inquadrandolo come una sfida di controllo a tre vie. Questo approccio distingue tra selettività del percorso (la decisione di intervenire) e capacità di modifica residua (la modifica specifica da implementare) attraverso un framework di editing residuo instradato. Un router nei primi strati genera un gate scalare e una miscela di esperti; quando attivato, esperti residui di collo di bottiglia condizionati dal prompt eseguono aggiornamenti dai livelli successivi senza modificare il backbone. Questa separazione consente diagnostiche di routing oracle, in cui il gate scalare appreso viene sostituito con un'etichetta di modifica/mantenimento esterna. Su Gemma-3-4B-IT, Residual Paving riduce il rifiuto di modifica dall'88,6% al 4,0%, mantenendo il 95,5% di comportamento benigno. La ricerca è disponibile su arXiv con ID 2605.20262.
Fatti principali
- Residual Paving è un metodo di editing residuo instradato per transformer istruiti tramite fine-tuning congelati.
- Separa la selettività del percorso dalla capacità di modifica residua.
- Un router nei primi strati prevede un gate scalare e una miscela di esperti.
- Esperti residui di collo di bottiglia condizionati dal prompt applicano aggiornamenti residui dai livelli successivi.
- Il backbone rimane invariato durante le modifiche.
- La diagnostica di routing oracle sostituisce il gate scalare appreso con l'etichetta esterna.
- Su Gemma-3-4B-IT, il rifiuto di modifica è sceso dall'88,6% al 4,0%.
- La preservazione della distribuzione benigna è stata del 95,5%.
- L'articolo è pubblicato su arXiv con ID 2605.20262.
Entità
Istituzioni
- arXiv