Bias Posizionale a Livello di Strato nella Modellazione Linguistica a Contesto Breve

Uno studio recente pubblicato su arXiv (2601.04098) presenta un quadro di conduttanza a livello di strato per valutare il bias posizionale nei modelli linguistici transformer. I risultati indicano che il bias di recenza aumenta costantemente attraverso gli strati, mentre il bias di primacy è meno pronunciato e diminuisce. Utilizzando un approccio a finestra scorrevole per la previsione della parola successiva in contesto breve, i ricercatori hanno potuto separare il comportamento interno del modello dalle influenze del compito e della finestra di contesto. I profili di importanza posizionale a livello di strato ottenuti rimangono coerenti attraverso vari testi e arrangiamenti lessicali, validando il loro riflesso della struttura interna del modello. Questa ricerca chiarisce l'evoluzione di questi profili con la profondità, contribuendo a una migliore comprensione di come le posizioni di input influenzino le previsioni a ogni strato, il che può migliorare le prestazioni e l'interpretabilità dei modelli linguistici.