L'automa trie accelera il decoding vincolato per i LLM

Uno studio recente pubblicato su arXiv (2608.12574) presenta l'automa trie, uno strumento innovativo progettato per il decoding vincolato nei modelli linguistici di grandi dimensioni (LLM). Questo metodo garantisce che le uscite dei LLM aderiscano a schemi specifici, come la scelta tra un numero limitato di stringhe valide. I sistemi esistenti si affidano alla compilazione grammaticale di uso generale, che diventa inefficiente quando il numero di opzioni valide cresce fino a migliaia, una sfida definita dagli autori come 'muro della cardinalità'. Utilizzando le caratteristiche degli insiemi finiti attraverso il matching multi-pattern di Aho-Corasick, l'automa trie ottiene un miglioramento di 7 volte nella velocità di calcolo dei token validi (0,65 microsecondi rispetto a 5,8 microsecondi) rispetto a XGrammar, un backend chiave per vLLM e SGLang. Inoltre, le velocità di compilazione sono migliorate di 2-6,5 volte per insiemi con almeno 300 elementi, e l'uso di maschere precalcolate consente un percorso di servizio senza stato che ottimizza l'elaborazione in batch. Questa ricerca affronta una limitazione significativa nell'implementazione dei LLM per la generazione di output strutturati, influenzando applicazioni che richiedono una stretta conformità a vocabolari o formati definiti.