FSE: Modello Esperti Veloce-Lento per l'Apprendimento Continuo nel Riconoscimento di Entità Nominate
È stato proposto un nuovo modello chiamato Fast-Slow Experts (FSE) per l'Apprendimento Continuo nel Riconoscimento di Entità Nominate (CLNER). Il modello affronta il problema del dimenticare catastrofico e della condivisione insufficiente di informazioni tra i compiti. FSE utilizza un esperto veloce condiviso per apprendere i collegamenti a livello di token e filtrare gli span improbabili, mentre esperti lenti specifici per compito classificano i candidati rimanenti. Introduce inoltre una strategia di campionamento negativo con decadimento della lunghezza per gestire lo squilibrio degli span. Esperimenti sui dataset OntoNotes e FewNERD mostrano prestazioni allo stato dell'arte.
Fatti principali
- FSE è un modello NER basato su span potenziato da esperti veloci-lenti per CLNER.
- L'esperto veloce condiviso apprende collegamenti a livello di token per filtrare gli span improbabili.
- Esperti lenti specifici per compito eseguono la classificazione degli span sui candidati rimanenti.
- Una strategia di campionamento negativo con decadimento della lunghezza mitiga lo squilibrio degli span.
- Esperimenti condotti sui dataset sintetici OntoNotes e FewNERD.
- FSE raggiunge prestazioni allo stato dell'arte negli scenari CLNER.
- Il modello promuove la condivisione di conoscenze tra i compiti.
- Riduce il carico di apprendimento in ogni compito per mantenere la plasticità.
Entità
—