MLLM falliscono nella traduzione da visione a codice: difetto 'Mirage' nella traduzione di circuiti
Una recente indagine scopre una significativa vulnerabilità nei modelli linguistici multimodali di grandi dimensioni (MLLM) che convertono diagrammi di circuiti in codice a livello di trasferimento tra registri (RTL). Ricercatori di arXiv hanno identificato un fenomeno chiamato 'Mirage': quando un diagramma di circuito viene sostituito con un'immagine vuota, la metrica Pass@k del modello rimane stabile o migliora. Ciò accade perché i modelli ignorano l'input visivo, basandosi invece sulla semantica degli identificatori presenti nell'intestazione del modulo per accedere a template RTL standard. Questa scoperta rivela un difetto nascosto nella generazione di codice assistita dall'IA, sollevando preoccupazioni sull'affidabilità in applicazioni hardware critiche per la sicurezza. La ricerca, documentata come arXiv:2604.27969v1, sottolinea la sfida di affidabilità estrema che la traduzione da circuito a Verilog presenta per la generazione di codice da visione, poiché i diagrammi di circuito contengono temporizzazione, topologia e semantica a livello di bit essenziali per la fabbricazione di silicio.
Fatti principali
- Gli MLLM sono utilizzati per tradurre artefatti visivi in codice, inclusi diagrammi di circuiti in codice RTL.
- Lo studio rivela il fenomeno 'Mirage': immagini vuote producono punteggi Pass@k invariati o più alti.
- I modelli bypassano l'input visivo e sfruttano la semantica degli identificatori nelle intestazioni dei moduli.
- Questo difetto è nascosto e mina l'affidabilità nella generazione di codice assistita dall'IA.
- I diagrammi di circuito codificano temporizzazione, topologia e semantica a livello di bit critiche per la sicurezza hardware.
- La ricerca è pubblicata come arXiv:2604.27969v1.
- La traduzione da circuito a Verilog è un test di affidabilità estremo per la generazione di codice da visione.
Entità
Istituzioni
- arXiv