Nuova metrica misura la perdita di diversità lessicale nel decoding degli LLM

I ricercatori hanno introdotto il Word Coverage Score (WCS), una metrica che quantifica come i filtri di campionamento standard come Top-p, Top-k e Min-p sopprimano le parole a bassa frequenza e ad alto contenuto informativo nei modelli linguistici di grandi dimensioni (LLM). Lo studio, pubblicato su arXiv (2605.27268), analizza modelli open-weight su frammenti di corpus scritti da umani per misurare i tassi di sopravvivenza lessicale. I risultati forniscono prove quantitative che i meccanismi di decoding, non solo la conoscenza del modello, contribuiscono alla generazione di testo ripetitivo e omogeneo. Il WCS valuta quali parole umane contestualmente appropriate diventano irraggiungibili a causa del pruning matematico, anche quando esistono nello spazio di probabilità.