MARI: Interventi di Rappresentazione Multi-Adapter tramite Calibrazione Energetica
arXiv:2605.28722 introduce MARI (Interventi di Rappresentazione Multi-Adapter tramite Calibrazione Energetica), un nuovo metodo per allineare i modelli linguistici di grandi dimensioni (LLM) senza modificare i pesi. Gli interventi di rappresentazione esistenti applicano una correzione fissa in modo uniforme, ma MARI scopre che la direzione e l'intensità ottimali dell'intervento variano per ogni campione. Per affrontare questo problema, MARI impiega un meccanismo multi-adapter competitivo in cui esperti specializzati catturano schemi di correzione non lineari e determinano in modo adattivo i parametri di intervento. Un modulo di gating basato sull'energia utilizza le dinamiche di propagazione interna per distinguere gli input adatti all'intervento, prevenendo il degrado delle capacità generali su input benigni. L'approccio promette un allineamento più preciso e meno dannoso.
Fatti principali
- 1. arXiv:2605.28722 propone MARI per l'allineamento degli LLM.
- 2. I metodi esistenti applicano un intervento fisso in modo uniforme su tutti gli input.
- 3. MARI utilizza un meccanismo multi-adapter competitivo.
- 4. Esperti specializzati catturano schemi di correzione non lineari.
- 5. La direzione e l'intensità dell'intervento sono determinate in modo adattivo per ogni campione.
- 6. Un modulo di gating basato sull'energia distingue gli input adatti all'intervento.
- 7. MARI previene il degrado delle capacità generali su input benigni.
- 8. Il metodo non modifica i pesi del modello.
Entità
Istituzioni
- arXiv