Righe di Attenzione come Dati Composizionali: La Scelta del Token Sink Inverte le Conclusioni

Un recente articolo intitolato "Righe di Attenzione come Dati Composizionali" (arXiv:2608.14712) esamina il ruolo dei token sink nei meccanismi di attenzione, rivelando che la loro inclusione o esclusione può alterare significativamente le conclusioni. Lo studio evidenzia che le righe di attenzione rappresentano distribuzioni di probabilità sui token, con il token sink tipicamente il primo. Utilizzando metriche standard come la similarità coseno e la divergenza di Jensen-Shannon, la ricerca ha scoperto che i verdetti possono invertirsi dal 17% al 47% su dieci modelli di cinque diverse famiglie. Inoltre, identifica una struttura prominente nel clustering delle teste di BERT come un artefatto, mentre la distanza di Aitchison distingue tra termini sink e contenuto.