ParBench: Benchmark per la Traduzione di Codice Parallelo con LLM

ParBench, un nuovo benchmark, è stato lanciato per valutare i grandi modelli linguistici (LLM) nel campo della traduzione di codice parallelo. Poiché le esigenze del software moderno si spostano tra diversi acceleratori, API di programmazione, stack di compilatori e livelli di portabilità come CUDA, OpenMP e OpenCL, sorge la necessità di soluzioni di migrazione affidabili. Sebbene LLM e agenti di codifica autonomi siano esplorati per queste migrazioni, il settore manca di metriche efficaci per garantire che mantengano le semantiche parallele di basso livello essenziali, come l'indicizzazione dei thread, la sincronizzazione, la gestione della memoria e il coordinamento host-dispositivo. ParBench si concentra sulla valutazione incentrata sul kernel della traduzione di API parallele guidata da LLM in condizioni riproducibili, utilizzando specifiche di benchmark dichiarative per standardizzare i processi di build, esecuzione e verifica, concentrandosi esclusivamente sui kernel computazionali. Incorpora diverse suite HPC open-source.