Il benchmark PTXBench valuta gli LLM per l'ottimizzazione dei kernel GPU con PTX specifico per architettura

PTXBench, introdotto in un preprint arXiv, valuta i grandi modelli linguistici per l'ottimizzazione dei kernel GPU utilizzando PTX specifico per architettura. Misura la correttezza funzionale, l'esecuzione delle istruzioni a runtime e lo speedup rispetto alle librerie all'avanguardia su carichi di lavoro GEMM e attention utilizzando GPU H100 e B200. I risultati mostrano capacità disomogenee tra i modelli, con prestazioni notevolmente scarse su compiti complessi di backward dell'attention; l'esecuzione delle istruzioni target non garantisce velocità competitive. Nessun modello eguaglia costantemente le librerie all'avanguardia. Gli autori hanno adattato Qwen3.6-27B tramite fine-tuning supervisionato, scoprendo che l'addestramento condizionato alla riparazione migliora alcuni compiti, ma la generalizzazione rimane disomogenea, influenzata dalla copertura dei dati, dall'equilibrio e dalla qualità del teacher di ragionamento. Il benchmark offre un audit per il lavoro futuro.