Attribuzione probabilistica dei token per LLM

Un nuovo articolo di ricerca introduce una misura di attribuzione probabilistica dei token, agnostica rispetto al modello, per i Large Language Models (LLM). Il metodo utilizza la regola di Bayes per invertire le log-probabilità del token successivo, catturando la rappresentazione interna della distribuzione delle sequenze di token indipendentemente dalla sua struttura computazionale. Il punteggio di attribuzione è definito come il logaritmo del rapporto tra la probabilità condizionata della risposta dato il prompt e la probabilità con un token marginalizzato. Questo approccio colloca i LLM all'interno della teoria dei processi stocastici, offrendo un quadro per comprendere come i modelli generano risposte basate su probabilità apprese. L'articolo è disponibile su arXiv con identificatore 2605.21726.