Attenzione Sparsa Guidata Grammaticalmente per Trasformatori Efficienti

Un nuovo articolo su arXiv (2605.24518) introduce l'Attenzione Sparsa Guidata Grammaticalmente, un metodo che utilizza i tag delle Parti del Discorso (POS) per vincolare i calcoli di attenzione nei modelli Transformer. Questo approccio genera dinamicamente maschere di attenzione che impongono connessioni linguisticamente coerenti tra i token, riducendo la complessità computazionale pur preservando le dipendenze linguistiche essenziali. Vengono proposte due strategie di mascheramento: una maschera dura che limita strettamente le interazioni a ruoli grammaticali predefiniti, e una maschera morbida che orienta l'attenzione verso tali ruoli. Il lavoro mira ad affrontare il collo di bottiglia della complessità quadratica dell'auto-attenzione nell'elaborazione di sequenze lunghe e nel dispiegamento di modelli linguistici di grandi dimensioni, basandosi su metodi di attenzione sparsa precedenti come DeepSeek Sparse Attention.