FFNet: Progettazione Efficiente di Mixer Convoluzionali basata su MetaMixer

Un nuovo articolo su arXiv (2406.02021v3) propone FFNet, un'architettura di mixer convoluzionale che reinterpreta la rete feed-forward (FFN) come una rete di memoria simile al meccanismo query-key-value dell'auto-attenzione. Gli autori sostengono che la FFN, spesso trascurata, funzioni come una memoria key-value in cui l'input funge da query e i pesi di proiezione da chiavi e valori. Basandosi su questo, convertono l'auto-attenzione in un token mixer più simile alla FFN, efficiente e basato solo su convoluzioni, mantenendo però il framework query-key-value. Il lavoro mira a dimostrare che la struttura query-key-value stessa è cruciale per prestazioni competitive, non necessariamente l'auto-attenzione. L'articolo è un annuncio di cross-replacement su arXiv.