Intern-S2-Mobius: Disaccoppiare Conoscenza e Ragionamento nei Modelli Fondamentali

Una nuova architettura per i modelli fondamentali, denominata Mobius-v0, è stata presentata dai ricercatori. Questo design innovativo distingue tra funzioni di memorizzazione della conoscenza e funzioni di ragionamento. Presenta una Memoria (FFN) accessibile globalmente per la memorizzazione dei vettori di conoscenza, insieme a più Ragionatori (Self-Attn) che eseguono ragionamento compositivo iterativo. I Ragionatori utilizzano gli stati nascosti sia come cache che come trasportatori, interrogando la memoria per i vettori di conoscenza necessari, che vengono poi trasmessi agli operatori di ragionamento. Questa separazione migliora sia la compressione della conoscenza che l'efficienza del ragionamento. Un modello da 7B addestrato da zero basato su Mobius-v0 eguaglia le prestazioni downstream di un modello Transformer di base da 7B utilizzando solo il 62,6% dei suoi dati di addestramento. Inoltre, Intern-S2-Mobius, preaddestrato in modo continuo da Qwen3.5-35B, raggiunge risultati downstream comparabili con un'inferenza end-to-end quasi 4 volte più veloce. La ricerca è documentata su arXiv nella sezione Computer Science > Artificial Intelligence, contribuendo ai progressi nell'IA e nell'apprendimento automatico.