PrismML Lancia i Modelli Linguistici Ternary Bonsai 1.58-Bit con Riduzione della Memoria di 9 Volte

PrismML ha introdotto Ternary Bonsai, una nuova famiglia di modelli linguistici che utilizza una rappresentazione a 1,58 bit in tutta la loro architettura. Disponibili nelle dimensioni di 8B, 4B e 1,7B di parametri, questi modelli impiegano pesi ternari {-1, 0, +1} con quantizzazione per gruppi, ottenendo un'impronta di memoria circa nove volte più piccola rispetto ai modelli standard a 16 bit. La variante da 8B ottiene un punteggio di 75,5 nelle medie dei benchmark, superando la maggior parte dei modelli della sua classe di parametri nonostante le dimensioni compatte. Rispetto al precedente Bonsai 1-bit 8B, il Ternary Bonsai 8B mostra un miglioramento di 5 punti richiedendo solo 600 MB di memoria in più. I guadagni di prestazioni sono ampi su vari benchmark, tra cui MMLU Redux, MuSR, GSM8K, HumanEval+, IFEval e BFCLv3. I modelli offrono un'elevata velocità di elaborazione, eseguendo 82 token al secondo su M4 Pro e 27 token al secondo su iPhone 17 Pro Max, con un'efficienza energetica da 3 a 4 volte migliore rispetto alle controparti a 16 bit. Funzionano nativamente sui dispositivi Apple tramite MLX e sono disponibili con licenza Apache 2.0. PrismML, fondata con il supporto di Khosla Ventures, Cerberus e Google, è emersa da ricercatori del Caltech focalizzati sulla compressione delle reti neurali. I dettagli tecnici completi sono disponibili in un whitepaper.