RealisticTritonBench: Nuovo Benchmark per la Generazione di Kernel Triton nell'IA

I ricercatori hanno introdotto RealisticTritonBench, un benchmark progettato per valutare i modelli linguistici di grandi dimensioni (LLM) nella generazione di kernel GPU Triton per framework IA reali. Il benchmark affronta tre limitazioni chiave nelle valutazioni esistenti: (1) si espande oltre la traduzione da PyTorch a Triton per coprire la diversità e la complessità dei compiti Triton reali; (2) valuta le prestazioni end-to-end piuttosto che le prestazioni dei singoli kernel, che è il criterio fondamentale per l'implementazione nel mondo reale; e (3) evita di fare affidamento su script di valutazione scritti manualmente che possono contenere difetti sfruttabili dai modelli per aggirare i controlli di correttezza. Il lavoro è dettagliato in un articolo su arXiv (ID: 2608.12004), annunciato come invio di tipo cross-type. Il benchmark mira a ridurre lo sforzo manuale per gli sviluppatori di kernel esperti consentendo agli LLM di generare automaticamente kernel Triton ad alte prestazioni, che sono cruciali per le prestazioni complessive del sistema nei framework IA moderni. Triton è ampiamente adottato per la sua usabilità, portabilità e prestazioni vicine a quelle dei kernel CUDA scritti a mano.