Liquid AI rilascia i checkpoint Q4_0 LFM2.5 tramite distillazione consapevole della quantizzazione
Liquid AI ha introdotto checkpoint GGUF Q4_0 per la sua famiglia di modelli LFM2.5 utilizzando la distillazione consapevole della quantizzazione, recuperando il 97% dell'accuratezza persa a causa della quantizzazione post-addestramento. I modelli — LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct e LFM2.5-2.6B — superano i Q4_0 standard in benchmark come GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF e BFCLv4. Su hardware edge (MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra, Raspberry Pi 5), raggiungono una velocità di decodifica superiore del 4–33% mantenendo la qualità di quantizzazioni a bit più elevati come Q5_K_M e Q4_K_M. I checkpoint sono disponibili oggi su Hugging Face.
Fatti principali
- Liquid AI ha addestrato i checkpoint Q4_0 utilizzando la distillazione consapevole della quantizzazione (QAD).
- La QAD recupera il 97% dell'accuratezza media BF16 persa a causa della quantizzazione.
- La suite di benchmark include GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF e BFCLv4.
- GSM8K utilizzato per LFM2.5-230M e LFM2.5-350M; AIME25 per LFM2.5-1.2B-Instruct e LFM2.5-2.6B.
- I checkpoint QAD mantengono rispettivamente il 97,1%, 96,5%, 97,4% e 96,6% delle prestazioni baseline BF16.
- La velocità di decodifica è stata testata su MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra e Raspberry Pi 5.
- La QAD Q4_0 eguaglia la qualità Q5_K_M con una velocità superiore del 4-33% per i modelli 230M/350M e la qualità Q4_K_M con una velocità superiore del 3-14% per i modelli 1.2B/2.6B.
- I file sono disponibili su Hugging Face per tutte e quattro le dimensioni dei modelli LFM2.5.
Entità
Istituzioni
- Liquid AI
- Hugging Face
- Unsloth