AssertLLM2: Nuovo Benchmark per la Generazione di Asserzioni Hardware basate su LLM
AssertLLM2 è stato lanciato da ricercatori come benchmark open-source volto a valutare i modelli linguistici di grandi dimensioni (LLM) nella loro capacità di creare asserzioni SystemVerilog (SVA) a partire da specifiche di progetto. Questo benchmark supera le carenze dei benchmark attuali offrendo definizioni di compiti realistici, specifiche di progetto organizzate e valutazioni approfondite. Comprende 83 progetti hardware reali suddivisi in 13 gruppi funzionali, ciascuno con un RTL golden verificato e versioni buggy sistematicamente alterate. AssertLLM2 facilita due scenari pratici: prevenzione dei bug, dove le asserzioni sono create dalle specifiche per evitare errori, e caccia ai bug, dove le asserzioni aiutano a rilevare bug nel codice RTL. Questa iniziativa mira a snellire la verifica basata su asserzioni, un aspetto vitale ma laborioso della progettazione hardware.
Fatti principali
- AssertLLM2 è un benchmark open-source per la generazione di asserzioni basata su LLM.
- Contiene 83 progetti reali in 13 categorie funzionali.
- Ogni progetto include una specifica strutturata, RTL golden e varianti RTL buggy.
- Il benchmark supporta le impostazioni di prevenzione dei bug e caccia ai bug.
- Affronta le limitazioni dei benchmark esistenti nella formulazione e valutazione dei compiti.
- Il lavoro mira ad automatizzare la generazione di asserzioni SystemVerilog.
- La verifica basata su asserzioni è un pilastro della moderna progettazione hardware.
- Il benchmark è descritto in arXiv:2605.27472.
Entità
Istituzioni
- arXiv