RuC: Benchmark guidato dalla grammatica per il completamento di codice RTL
Un nuovo framework chiamato RuC (Rule Completion) genera benchmark per valutare i grandi modelli linguistici nei compiti di completamento di codice a livello di trasferimento tra registri (RTL). A differenza dei benchmark esistenti che valutano interi moduli o singole righe, RuC utilizza regole grammaticali per mascherare regioni di codice sintatticamente definite, consentendo il controllo sulla granularità del completamento e sulla portata sintattica. Il sistema produce automaticamente compiti da sorgenti di descrizione hardware, mirando a qualsiasi linguaggio di descrizione hardware. Questo affronta le limitazioni nell'attuale valutazione dei LLM per la progettazione hardware, dove il completamento preciso del codice è critico.
Fatti principali
- 1. RuC sta per Rule Completion.
- 2. È un generatore di benchmark guidato dalla grammatica e selezionabile tramite regole.
- 3. Produce automaticamente compiti di completamento di codice RTL.
- 4. Utilizza la grammatica HDL target per mascherare regioni di codice sintatticamente definite.
- 5. Supera le limitazioni dei benchmark esistenti che mancano di controllo sulla granularità.
- 6. I benchmark esistenti valutano interi moduli o completamenti di singole righe.
- 7. RuC è indipendente dal linguaggio per i linguaggi di descrizione hardware.
- 8. Il framework è descritto in arXiv:2604.27780.
Entità
—