Superficie del Potenziale Decisionale: Un Nuovo Metodo per Analizzare i Confini Decisionali dei LLM

Un nuovo quadro teorico chiamato Superficie del Potenziale Decisionale (DPS) è stato introdotto dai ricercatori per esaminare i confini decisionali dei modelli linguistici di grandi dimensioni (LLM). Questi confini, che sono aree in cui un modello assegna uguale probabilità a due classi, sono essenziali per comprendere le caratteristiche e i comportamenti dei modelli. Tuttavia, a causa dei vasti spazi di output a livello di sequenza e della natura autoregressiva dei LLM mainstream, costruire questi confini è computazionalmente impraticabile. La DPS si basa sui livelli di confidenza nel differenziare le classi per ciascun input, incapsulando il potenziale del confine decisionale. Gli autori dimostrano che l'isoipsa di altezza zero nella DPS corrisponde al confine decisionale di un LLM, con le aree circostanti che indicano le regioni decisionali. Questo metodo fornisce un modo fattibile per analizzare il processo decisionale degli LLM senza calcoli intensivi.