OnlineSPEC: Evoluzione dei Modelli Draft tramite Apprendimento Online per la Decodifica Speculativa

È stato proposto un nuovo framework, OnlineSPEC, per migliorare la decodifica speculativa nell'inferenza di modelli linguistici di grandi dimensioni. La decodifica speculativa è un metodo ampiamente utilizzato per accelerare l'inferenza, in cui un modello draft leggero genera token candidati che vengono verificati in parallelo da un modello target più grande. Tuttavia, il modello draft spesso non riesce ad approssimare la distribuzione target a causa della capacità limitata, portando a lunghezze di accettazione più brevi e a una riduzione della velocità. L'idea chiave di OnlineSPEC è che il feedback di verifica intrinseco alla decodifica speculativa quantifica la deviazione tra i modelli draft e target senza costi aggiuntivi. Questo feedback forma un ciclo iterativo—il draft commette, il feedback fornisce, il draft si adatta—che si allinea con il paradigma dell'apprendimento online. OnlineSPEC è un framework unificato che sfrutta sistematicamente questo feedback interattivo per far evolvere continuamente i modelli draft. Il framework si basa sull'analisi del rimpianto dinamico, fornendo garanzie teoriche. L'articolo è disponibile su arXiv con l'identificatore 2603.12617, con il tipo di annuncio 'replace-cross'. Il lavoro è stato annunciato su arXiv e l'abstract delinea la motivazione e l'approccio, sebbene i dettagli completi del metodo e dei risultati sperimentali non siano inclusi nel contenuto fornito. La ricerca affronta un collo di bottiglia critico nella decodifica speculativa, offrendo un potenziale percorso verso un'inferenza LLM più efficiente.