TPA: Nuovo Metodo Rileva le Allucinazioni degli LLM Attribuendo le Probabilità dei Token

I ricercatori hanno svelato una nuova tecnica chiamata TPA, o Attribuzione della Probabilità del Prossimo Token, progettata per individuare le allucinazioni nei sistemi di Generazione Aumentata da Recupero (RAG). A differenza dei metodi precedenti che trattavano le allucinazioni come un semplice conflitto tra conoscenza interna e dati recuperati, TPA identifica sette fonti distinte che contribuiscono a questo problema: query, contesto RAG, token passato, token stesso, reti feedforward, LayerNorm finale e embedding iniziale. Collegando matematicamente la probabilità di ogni token a queste fonti, TPA valuta il loro ruolo nel processo di generazione. L'analisi dei punteggi di attribuzione utilizzando i tag Part-of-Speech evidenzia come diversi componenti del modello influenzino le allucinazioni. Puoi consultare l'articolo completo su arXiv con il riferimento 2512.07515.