La Teoria delle Matrici Casuali di Marchenko-Pastur Rivela la Struttura Appresa Dominante nell'Attenzione dei Transformer

Un recente preprint su arXiv (2608.07921) utilizza la teoria delle matrici casuali di Marchenko-Pastur (MP) per analizzare i pesi di attenzione pre-addestrati nei transformer, separando ogni matrice di proiezione in un bulk di tipo casuale e outlier spettrali distinti. Gli autori dimostrano questa decomposizione causale: quando gli outlier identificati da MP (segnale) in Mistral-7B vengono azzerati, le prestazioni su benchmark come HellaSwag, MMLU e PIQA scendono a livelli quasi casuali, mentre azzerare un sottoinsieme corrispondente di valori singolari del bulk comporta un calo minore ma notevole delle prestazioni. Tra 11 transformer pre-addestrati, emergono cinque pattern ricorrenti: gli outlier spettrali rappresentano un aspetto chiave della struttura appresa; le proiezioni Q presentano il maggior numero di outlier; le proiezioni V sotto attenzione a query raggruppata mostrano una scarsa differenziazione segnale/rumore; gli outlier a livello di ingresso creano bande di righe strutturate in Q e bande di colonne in O; e alcune dimensioni del flusso residuo rimangono come outlier a banda in K e O attraverso i livelli. L'articolo conclude discutendo come queste intuizioni possano migliorare la ricerca futura sull'interpretabilità e la compressione dei modelli. Lo studio è anche cross-listato e accessibile tramite il link arXiv fornito.