Le priorità basate su maschere superano le inizializzazioni query-key nell'estrapolazione booleana dei Transformer

Uno studio recente pubblicato su arXiv (2608.00418) esplora le carenze dei Transformer nei compiti di estrapolazione booleana, rivelando che spesso generalizzano basandosi su un interpolatore di grado minimo più semplice invece che sulla funzione target effettiva. I ricercatori sostengono che incorporare priorità strutturali esplicite nei meccanismi di attenzione potrebbe risolvere questo problema. Osservano che le attuali tecniche di inizializzazione strutturata, che modificano il bias induttivo selezionando proiezioni di query e key per imitare uno specifico pattern di attenzione, vengono rapidamente sovrascritte durante il processo di addestramento, non riuscendo a modificare la regola di estrapolazione appresa. Gli autori propongono priorità basate su maschere come soluzione più duratura. Sebbene lo studio utilizzi test di stress controllati per analizzare il bias induttivo dei Transformer, i compiti non rappresentano applicazioni pratiche.