Selezione dei livelli guidata dall'attenzione migliora la fattualità dei LLM

I ricercatori propongono tre strategie guidate dall'attenzione—Attention-JSD, Attention-Entropy-Max e Attention-Entropy-Min—per migliorare il decoding contrastivo nei grandi modelli linguistici. Questi metodi sfruttano le distribuzioni di self-attention come segnale per la selezione dei livelli, superando l'approccio originale DoLa sul benchmark TruthfulQA. Si osservano guadagni significativi nelle metriche multi-risposta MC2 e MC3, indicando che le distribuzioni di attenzione forniscono un segnale più sensibile per il recupero della conoscenza fattuale rispetto alle sole distribuzioni del vocabolario di output.