Il Framework AscendKernelGen Utilizza LLM per Generare Kernel Computazionali per NPU

È stato introdotto un nuovo framework denominato AscendKernelGen per affrontare le difficoltà associate alla generazione di kernel computazionali per Neural Processing Unit (NPU) attraverso Large Language Model (LLM). Le NPU svolgono un ruolo cruciale nei sistemi di intelligenza artificiale contemporanei, ma la creazione di kernel efficienti richiede una conoscenza specializzata nei Domain-Specific Language (DSL) specifici del fornitore ed è spesso dispendiosa in termini di tempo. Nonostante la promessa degli LLM nella generazione di codice generale, essi incontrano sfide a causa dei vincoli stringenti e dei dati di addestramento limitati nel settore delle NPU. Un'indagine preliminare ha rivelato che i migliori LLM generici hanno ottenuto un successo quasi nullo nella produzione di kernel complessi funzionali per le NPU Ascend. Per affrontare queste sfide, AscendKernelGen combina generazione e valutazione in un unico framework, includendo Ascend-CoT, un dataset di alta qualità che utilizza il ragionamento a catena del pensiero (chain-of-thought) basato su esempi del mondo reale. Questa iniziativa mira a sfruttare appieno le NPU automatizzando la creazione dei kernel, essenziale per soddisfare la crescente esigenza di efficienza computazionale nell'IA. I risultati sono dettagliati in arXiv:2601.07160v2, che sostituisce una versione precedente, sottolineando le sfide dell'adattamento degli LLM per hardware specializzato e offrendo un approccio strutturato per migliorare i tassi di successo nella generazione dei kernel.