Universal Activation Bus: Un'interfaccia condivisa per modelli linguistici
L'Universal Activation Bus, un framework di nuova introduzione, stabilisce un'interfaccia di attivazione unificata per modelli linguistici compatibili, facilitando la condivisione di strumenti basati sull'attivazione. Questo approccio deriva uno spazio denso collettivo da un numero limitato di modelli sorgente, utilizzando un adattatore lineare encoder-decoder leggero per ciascun modello. Una volta completato l'addestramento, l'interfaccia rimane fissa, consentendo a nuovi modelli di integrarsi regolando solo le loro coppie di adattatori su testi appaiati non etichettati. Di conseguenza, strumenti come sonde, autoencoder sparsi (SAE) e interpreti in linguaggio naturale possono essere riutilizzati su modelli diversi. Esperimenti condotti con cinque modelli dimostrano che testi semanticamente correlati si raggruppano costantemente nello spazio condiviso, consentendo a un modello integrato di utilizzare strumenti sviluppati per un altro modello. L'articolo è disponibile su arXiv con ID 2608.09521.
Fatti principali
- L'Universal Activation Bus fornisce un'interfaccia di attivazione comune tra modelli linguistici compatibili.
- Utilizza un piccolo insieme di modelli sorgente per apprendere uno spazio denso condiviso.
- Ogni modello ha una coppia di adattatori lineari encoder-decoder leggeri.
- Dopo l'addestramento sorgente, l'interfaccia è congelata; i nuovi modelli adattano solo la loro coppia di adattatori su testo appaiato non etichettato.
- Strumenti basati sull'attivazione come sonde, caratteristiche SAE e interpreti in linguaggio naturale possono essere condivisi.
- Test su cinque modelli mostrano vicinanze coerenti per testi semanticamente correlati.
- Un modello integrato può riutilizzare strumenti originariamente addestrati per un modello diverso.
- L'articolo è disponibile su arXiv con ID 2608.09521.
Entità
Istituzioni
- arXiv