SemGrad: Quantificazione dell'Incertezza Basata su Gradienti per LLM
Un team di ricercatori ha introdotto SemGrad, il primo metodo basato su gradienti per la quantificazione dell'incertezza (UQ) nella generazione di testo libero utilizzando modelli linguistici di grandi dimensioni (LLM). A differenza dei metodi tradizionali che si basano fortemente sul campionamento, SemGrad offre un'alternativa computazionalmente efficiente e senza campionamento. Opera nello spazio semantico, valutando la stabilità delle distribuzioni di output in risposta a variazioni di input semanticamente simili. L'approccio introduce un Punteggio di Preservazione Semantica (SPS) per individuare gli embedding che riflettono accuratamente la semantica, fungendo da base per i calcoli del gradiente. Questa innovazione mira a ridurre il carico computazionale e la variabilità associati ai metodi UQ attuali, migliorando l'affidabilità identificando le allucinazioni. I risultati sono disponibili su arXiv con l'identificatore 2605.04638.
Fatti principali
- SemGrad è il primo metodo UQ basato su gradienti per la generazione di testo libero.
- È senza campionamento e computazionalmente efficiente.
- Opera nello spazio semantico, non nello spazio dei parametri.
- Misura la stabilità sotto perturbazioni di input semanticamente equivalenti.
- Introduce un Punteggio di Preservazione Semantica (SPS).
- Affronta l'alto costo computazionale e la varianza dei metodi basati su campionamento.
- Mira a migliorare l'affidabilità degli LLM rilevando allucinazioni.
- Pubblicato su arXiv con l'identificatore 2605.04638.
Entità
Istituzioni
- arXiv