Nuovo attacco sfrutta la quantizzazione degli LLM tramite iniezione di outlier

Un innovativo attacco condizionato alla quantizzazione è stato svelato dai ricercatori, dimostrando la sua capacità di provocare costantemente azioni dannose nei modelli linguistici di grandi dimensioni (LLM) attraverso sofisticati metodi di quantizzazione come AWQ, GPTQ e GGUF I-quants. Questo attacco sfrutta una caratteristica comune a molte tecniche di quantizzazione contemporanee: la persistenza di grandi pesi outlier durante la quantizzazione. Gli attacchi precedenti erano limitati ad approcci di quantizzazione di base e inefficaci contro metodi più ampiamente utilizzati. Questa tattica innovativa consente a un aggressore di distribuire un modello che sembra innocuo in piena precisione ma diventa dannoso una volta che gli utenti applicano la quantizzazione, rappresentando una seria minaccia per la sicurezza nell'uso efficiente della memoria degli LLM.