Il Trasformatore a Filtraggio Bayesiano Introduce la Gestione dell'Incertezza all'IA
Esiste un nuovo framework di IA chiamato Trasformatore a Filtraggio Bayesiano (BFT) che sostituisce i normali strati del Trasformatore per gestire meglio l'incertezza durante l'elaborazione dei token. Tratta l'attenzione come un kriging pesato per precisione, e le connessioni residue agiscono come aggiornamenti di Kalman con un guadagno adattivo. Nel frattempo, le reti feed-forward sono viste come modelli dinamici che aiutano a diffondere la precisione attraverso qualcosa chiamato Jacobiano-più-rumore-di-processo. Per calcolare la precisione di osservazione, utilizza uno stimatore di Massima Verosimiglianza Ristretta (REML) senza parametri insieme a un prior bayesiano coniugato. Questo metodo affronta problemi come i token cold-start nelle raccomandazioni sequenziali, la qualità del segnale fluttuante nei modelli linguistici e i problemi di attenzione dovuti al softmax non vincolato. BFT aggiunge un overhead minimo e si adatta a qualsiasi strato del Trasformatore. Puoi consultare la ricerca su arXiv, ID 2605.18832.
Fatti principali
- 1. BFT sostituisce i normali strati del Trasformatore per gestire l'incertezza.
- 2. L'attenzione diventa un kriging pesato per precisione.
- 3. La connessione residua diventa un aggiornamento di Kalman con guadagno adattivo.
- 4. La FFN diventa un modello dinamico che propaga la precisione tramite Jacobiano-più-rumore-di-processo.
- 5. La precisione di osservazione utilizza lo stimatore REML con prior bayesiano coniugato.
- 6. BFT affronta token cold-start, qualità del segnale eterogenea e sink di attenzione.
- 7. BFT introduce un overhead trascurabile.
- 8. Articolo disponibile su arXiv:2605.18832.
Entità
Istituzioni
- arXiv