Campionamento Esplorativo Aumenta la Diversità Semantica nei LLM

I ricercatori hanno introdotto il Campionamento Esplorativo (ESamp), una tecnica di decodifica progettata per i grandi modelli linguistici che promuove attivamente la diversità semantica nella generazione di testo. Il campionamento stocastico tradizionale produce una variazione lessicale minima, limitando l'esplorazione. ESamp utilizza un Distillatore leggero durante il test per prevedere le rappresentazioni nascoste profonde basate sui dati degli strati superficiali, modellando efficacemente le transizioni nella profondità della rappresentazione. Questo Distillatore si adatta al contesto di generazione corrente, utilizzando l'errore di previsione come segnale di novità per modificare le probabilità dei token. Questo metodo si basa sull'intuizione che le reti neurali tendono a fare previsioni più accurate su input familiari mentre hanno difficoltà con quelli nuovi, con l'obiettivo finale di migliorare il scaling a tempo di test per una più ricca esplorazione semantica.