Vertex-Softmax: Verifica più stretta dei Transformer tramite ottimizzazione esatta

Un nuovo metodo chiamato Vertex-Softmax raggiunge il bound valido più stretto possibile per verificare i meccanismi di attenzione dei Transformer sotto vincoli di intervallo sui punteggi pre-softmax. L'approccio dimostra che l'ottimo esatto del problema score-box si trova in un vertice del box dei vincoli, e un teorema di struttura a soglia riduce i candidati ottimi a un numero lineare dopo aver ordinato i coefficienti obiettivo, ottenendo una complessità log-lineare nella lunghezza della sequenza. Integrato in un verificatore stile CROWN, Vertex-Softmax stabilisce un risultato formale di ottimalità, mostrando che ulteriori miglioramenti richiedono strutture aggiuntive come correlazioni dei punteggi o accoppiamento punteggio-valore. L'articolo è disponibile su arXiv con identificatore 2605.10974.