Nautile-370M: Modello di Ragionamento Ibrido con Memoria Spettrale

È stato presentato un nuovo modello linguistico di piccole dimensioni chiamato Nautile-370M, con 371 milioni di parametri, progettato per un ragionamento efficace entro limiti di parametri e inferenza ridotti. Questo modello utilizza un'architettura ibrida che alterna due strati SeqCond Attention (SCA) — basati sull'operatore di sequenza spettrale a tempo lineare SeqCondenser — e uno strato transformer. L'obiettivo è unire i vantaggi dei modelli sequenziali strutturati, come l'efficienza su contesti lunghi e il tracciamento degli stati, con il routing flessibile token-to-token fornito dai meccanismi di attenzione. L'addestramento è avvenuto su una singola slice di pod Cloud TPU v4-64 tramite il programma Google TPU Research Cloud (TRC), seguito da apprendimento per rinforzo su un singolo NVIDIA DGX Spark. Gli autori dimostrano che la lettura SCA può estrarre con precisione qualsiasi token dal riepilogo del prefisso e riprodurre gli output dell'attenzione softmax, confermando l'espressività di SCA rispetto all'attenzione standard.