Kernel Forge: Agente LLM per l'Ottimizzazione di Kernel CUDA
Kernel Forge è un sistema agente open-source end-to-end che utilizza modelli linguistici di grandi dimensioni (LLM) per generare e ottimizzare kernel CUDA per modelli PyTorch. Accetta modelli PyTorch non modificati e supporta carichi di lavoro di visione, diffusione e LLM. Il sistema affronta le limitazioni degli strumenti esistenti, che spesso vengono valutati su tensori casuali, emettono codice standalone che richiede reintegrazione manuale e si rivolgono principalmente a modelli PyTorch LLM. Kernel Forge offre supporto per l'ispezione e il debug dei risultati, con l'obiettivo di ridurre la necessità di ingegneri esperti che scrivano manualmente codice GPU di basso livello.
Fatti principali
- Kernel Forge è un sistema agente open-source per la generazione e ottimizzazione basata su LLM di kernel CUDA.
- Accetta qualsiasi modello PyTorch non modificato sul posto.
- Supporta carichi di lavoro di visione, diffusione e LLM.
- Utilizza metodi Monte Carlo per l'ottimizzazione.
- Gli strumenti esistenti vengono valutati su tensori generati casualmente e kernel isolati.
- Gli strumenti esistenti emettono codice CUDA standalone che richiede reintegrazione manuale.
- Gli strumenti esistenti si rivolgono principalmente solo a modelli PyTorch LLM.
- Kernel Forge offre supporto per l'ispezione e il debug dei risultati.
Entità
—