Qrita: Algoritmo Efficiente per il Campionamento Top-k e Top-p nei LLM

I ricercatori propongono Qrita, un nuovo algoritmo per il campionamento efficiente Top-k e Top-p nei modelli linguistici di grandi dimensioni. I metodi esistenti si basano sull'ordinamento, causando un elevato overhead della GPU, o su approcci stocastici che alterano gli output. Qrita utilizza il troncamento e la selezione basati su pivot con due tecniche chiave: il troncamento sigma basato su Gauss per ridurre lo spazio di ricerca del vocabolario, e la ricerca quaternaria dei pivot con gestione delle duplicazioni per dimezzare le iterazioni e garantire output deterministici. Implementato in Triton, Qrita supera i kernel di SGLang e FlashInfer nei motori di esecuzione LLM ad alte prestazioni. Il lavoro affronta una sfida significativa nel campionamento dei modelli per vocabolari di grandi dimensioni.