CoMeT Architecture Consente agli LLM di Elaborare Sequenze Arbitrariamente Lunghe con Memoria Costante

Il Collaborative Memory Transformer (CoMeT) è una nuova architettura progettata per affrontare le sfide della complessità quadratica e delle limitazioni della cache chiave-valore che ostacolano l'elaborazione di contesti lunghi nei Transformer tradizionali. Questo modulo plug-in consente ai grandi modelli linguistici di gestire sequenze di qualsiasi lunghezza mantenendo un utilizzo costante della memoria e una complessità temporale lineare. CoMeT presenta un approccio a doppia memoria: una coda FIFO per eventi recenti come memoria temporanea e una memoria globale con un meccanismo di aggiornamento controllato per dipendenze a lungo raggio. Queste memorie fungono da prompt dinamico soft per segmenti di dati futuri. Può essere integrato senza soluzione di continuità in modelli pre-addestrati con poca messa a punto. È stata introdotta anche una nuova strategia di parallelismo pipeline a livello di layer per migliorare la messa a punto per contesti estremamente lunghi, dimostrando un'efficacia impressione come delineato nel preprint arXiv 2602.01766v2, che è stato annunciato come sostituto cross.