La dominanza residua spiega l'affidamento all'ultimo elemento nei recommender SASRec

Un recente articolo su arXiv (2608.14021) esplora le ragioni alla base della forte dipendenza dei recommender sequenziali basati su transformer, come SASRec, dall'ultima interazione durante l'inferenza. I ricercatori utilizzano diagnostiche al momento della predizione insieme a un esame basato sulla norma dell'intero blocco di attenzione per rivelare il meccanismo strutturale sottostante. I loro risultati indicano che i modelli simili a SASRec mostrano una pronunciata dipendenza dall'elemento più recente. Ulteriori indagini mostrano che mentre l'auto-attenzione raccoglie dati contestuali, la connessione residua inclina significativamente la rappresentazione complessiva verso i contributi della stessa posizione, un fenomeno che chiamano 'dominanza residua'. Per testare questa teoria, applicano il ridimensionamento residuo al momento dell'inferenza, che dimostra un trade-off coerente tra mescolamento strutturale e dipendenza dall'ultimo elemento, mentre una diminuzione della forza residua recupera alcuni errori di posizione finale, migliorando la comprensione dei recommender causali basati su auto-attenzione e il loro potenziale per una maggiore robustezza.