DASH: Ricerca Differenziabile Veloce per Attenzione Ibrida nei LLM

DASH, un innovativo e rapido framework di ricerca differenziabile, è stato sviluppato per progettare architetture di attenzione ibrida nei modelli linguistici di grandi dimensioni (LLM). Queste architetture ibride, che integrano vari meccanismi di attenzione, sono cruciali per migliorare l'efficienza dell'inferenza senza compromettere la qualità del modello. Gli approcci attuali spesso si basano su linee guida manuali o selettori proxy, mentre metodi recenti di tipo NAS come Jet-Nemotron richiedono 200 miliardi di token per i loro processi di ricerca, rendendoli poco pratici per l'uso quotidiano. DASH trasforma il posizionamento discreto degli operatori di attenzione in logit di architettura continui, genera candidati lineari riutilizzabili allineati all'insegnante e conduce ricerche solo sull'architettura utilizzando pesi fissi del modello e degli operatori, riducendo così significativamente i costi computazionali. Questo framework consente ricerche di architettura ibrida in pochi minuti su una singola GPU, promuovendo un'adozione più ampia e affrontando una sfida chiave nella progettazione di LLM automatizzando la distribuzione degli operatori di attenzione tra i livelli.