TIDE: Nuova Architettura Transformer con EmbeddingMemory

Un recente articolo di ricerca introduce TIDE, un potenziamento per i transformer che affronta due problemi strutturali chiave nei modelli linguistici di grandi dimensioni: il Problema dei Token Rari e il Problema del Collasso Contestuale. Il Problema dei Token Rari è legato a un vocabolario distribuito secondo Zipf, che porta a segnali di gradiente inadeguati per i token poco frequenti. Nel frattempo, il Problema del Collasso Contestuale si verifica quando un numero limitato di parametri fa sì che token simili siano rappresentati da stati nascosti indistinguibili. TIDE presenta EmbeddingMemory, composto da K MemoryBlocks indipendenti che convertono gli indici dei token in vettori semantici senza contesto. Questi vettori vengono integrati in ogni strato attraverso un router softmax condizionato dalla profondità, dotato di un banco nullo apprendibile. La ricerca è disponibile su arXiv con ID 2605.06216.