DeaMoE: Architettura MoE Efficiente per Decodifica Veloce in Piccoli Batch

Un nuovo articolo su arXiv (2608.14385) introduce DeaMoE, un'architettura Mixture-of-Experts (MoE) efficiente per la decodifica, progettata per affrontare il collo di bottiglia legato alla memoria nella decodifica in piccoli batch, che è critica per applicazioni interattive in tempo reale come assistenti di codifica e sistemi di interazione audio-video. Gli autori notano che le soluzioni esistenti, come la compressione dei pesi post-addestramento o la progettazione fine-grained degli esperti, o degradano l'accuratezza o aggiungono overhead. DeaMoE raggruppa gli esperti in dipartimenti, dove gli esperti dello stesso dipartimento condividono la maggior parte dei parametri grazie alla sovrapposizione dei loro campi professionali. L'articolo è annunciato come una sottomissione di tipo 'cross', indicando che potrebbe essere stato presentato altrove. La ricerca mira a migliorare la velocità di inferenza senza sacrificare la qualità del modello, potenzialmente a beneficio di applicazioni sensibili alla latenza.