Nanbeige4.2-3B su Apple Silicon: Correzione di Bug di Distribuzione e Riduzione dell'Overhead di Memoria del Trasformatore a Loop

Un rapporto tecnico disponibile su arXiv (2608.13987) descrive i tentativi di implementare il modello Nanbeige4.2-3B su Apple Silicon (MPS). Questo modello presenta un'architettura agentica da 3 miliardi di parametri basata su un Trasformatore a Loop (LT), che riutilizza un singolo stack di layer per un secondo passaggio in avanti, aumentando la profondità senza incrementare i parametri. Gli autori hanno scoperto cinque bug distinti che impedivano il funzionamento del checkpoint rilasciato tramite i trasformatori di Hugging Face, tra cui un buffer RoPE azzerato e riferimenti a API di cache obsolete. Sebbene abbiano risolto questi problemi, il metodo di riutilizzo dei layer del LT ha comportato un raddoppio della memoria di attenzione di picco, risultando inadeguato per compiti agentici. Per mitigare ciò, hanno proposto una strategia di prefill a blocchi che riduce l'overhead di memoria, consentendo un aumento di 2,7 volte della larghezza del contesto su 32 GiB di memoria condivisa. Tuttavia, affermano che sono necessarie ulteriori patch per l'usabilità del modello. Gli autori del rapporto, che stanno valutando il modello su Apple Silicon, non specificano alcuna affiliazione istituzionale nell'abstract. Questi risultati sono pertinenti per gli sviluppatori che lavorano con modelli linguistici di grandi dimensioni su hardware Apple e per la più ampia comunità di distribuzione dell'IA.