EdgeRazor: LLM leggeri tramite distillazione con quantizzazione a precisione mista

EdgeRazor è un framework leggero per il deployment di modelli linguistici di grandi dimensioni (LLM) su dispositivi con risorse limitate. Affronta i limiti dei metodi di quantizzazione esistenti—Quantizzazione Post-Addestramento (PTQ), Addestramento Consapevole della Quantizzazione (QAT) e Distillazione Consapevole della Quantizzazione—integrando la quantizzazione a precisione mista con la distillazione della conoscenza da un modello insegnante a piena precisione. A differenza degli approcci precedenti che selezionano manualmente le caratteristiche e si basano su dati specifici dell'insegnante, EdgeRazor automatizza il processo, riducendo i requisiti computazionali mantenendo l'accuratezza del modello. Il framework è descritto in un articolo su arXiv (2605.04062).