Fragilità del Percorso di Attenzione come Segnale di Incertezza nei Modelli Linguistici di Grandi Dimensioni

Uno studio recente introduce una tecnica per valutare l'incertezza nei modelli linguistici di grandi dimensioni analizzando la vulnerabilità delle previsioni sicure quando i percorsi di attenzione vengono alterati. Questo metodo, chiamato ASMI (Attention-Subnetwork Mutual Information), funziona come uno stimatore senza addestramento che valuta l'informazione mutua BALD mascherando le teste di attenzione ed esaminando le sottoreti risultanti, impiegando un kernel di accordo semantico per mitigare le discrepanze superficiali. I risultati indicano che questo segnale fornisce ulteriori informazioni predittive di errore oltre alla semplice confidenza ed entropia, specialmente per previsioni 'sicure ma fragili', riducendo efficacemente l'errore residuo di un filtro di confidenza di circa la metà. La distintività di ASMI è graduata per regime, consentendogli di prevedere la propria applicabilità, in particolare quando le risposte sono guidate dal contesto fornito. La ricerca è disponibile su arXiv con identificativo 2608.11138.