AgentKernelArena: Benchmark per testare agenti AI nell'ottimizzazione di kernel GPU

AgentKernelArena è un benchmark open-source progettato per valutare agenti di codifica AI nell'ottimizzazione di kernel GPU. Comprende 196 compiti distinti, tra cui ottimizzazione HIP-to-HIP, ottimizzazione Triton-to-Triton e traduzione PyTorch-to-HIP. Questo benchmark esamina l'intero flusso di lavoro degli agenti in ambienti isolati, utilizzando compilazione controllata, valutazioni di correttezza e prestazioni, punteggio centralizzato e un protocollo di generalizzazione per configurazioni non viste, per determinare se le ottimizzazioni sono applicabili in nuovi contesti. A differenza dei benchmark esistenti che si concentrano solo su singole chiamate LLM, AgentKernelArena integra in modo unico sia l'ottimizzazione kernel-to-kernel che il test di generalizzazione su configurazioni non viste. Poiché l'ottimizzazione dei kernel GPU diventa fondamentale per un deep learning efficiente, la richiesta di kernel ad alte prestazioni richiede una notevole conoscenza di basso livello. I recenti agenti di codifica AI sono in grado di analizzare iterativamente il codice, utilizzare compilatori e profiler e migliorare le implementazioni.