Prestazioni LLM quantizzate nell'analisi qualitativa migliorate dalla verifica delle richieste multi-passaggio

Uno studio su arXiv (2605.20193) indaga come diversi livelli di quantizzazione a bit ridotti (8 bit, 4 bit, 3 bit, 2 bit) e tipologie influenzano le prestazioni di LLaMA-3.1 (8B) nell'analisi qualitativa. Utilizzando 82 trascrizioni di interviste con risposte di esperti e non esperti, i modelli a basso bit mostrano un aumento di allucinazioni e instabilità, in particolare con il linguaggio non esperto. Gli autori propongono un metodo di verifica delle richieste multi-passaggio sensibile alla quantizzazione che guida il modello attraverso passaggi controllati per ridurre le allucinazioni, rimuovendo contenuti inaffidabili e passando i risultati verificati alla trascrizione successiva. I codificatori umani che utilizzano NVivo e BF16 LLaMA hanno convalidato le prestazioni. Il metodo migliora l'accuratezza per i modelli quantizzati nei compiti qualitativi.