LLM inaffidabili per il controllo autonomo della sicurezza degli smart contract
Una recente indagine pubblicata su arXiv esamina il potenziale dei Large Language Models (LLM) di sostituire i tradizionali strumenti di analisi statica nel rilevamento delle vulnerabilità negli smart contract. I risultati indicano che gli LLM presentano un bias lessicale e una validazione insufficiente dei dati esterni, con conseguenti tassi elevati di falsi positivi. Le tecniche di prompting mostrano un equilibrio tra precisione e richiamo. I ricercatori hanno creato un framework automatizzato personalizzato che ha raggiunto il 92% di accuratezza nella classificazione degli output del modello. Lo studio conclude che, sebbene gli LLM non siano pronti per funzionare come auditor di sicurezza indipendenti, potrebbero migliorare le capacità degli strumenti attuali.
Fatti principali
- Lo studio valuta gli LLM come sostituti o complementi agli strumenti di analisi statica per il rilevamento delle vulnerabilità negli smart contract.
- L'efficacia degli LLM è compromessa dal bias lessicale e dalla mancanza di una rigorosa validazione degli input di dati esterni.
- L'affidamento a euristiche non semantiche come la denominazione degli identificatori porta a un alto numero di falsi positivi.
- Le tecniche di prompting rivelano un compromesso tra precisione e richiamo.
- Un framework automatizzato personalizzato raggiunge il 92% di accuratezza nella classificazione degli output del modello.
- L'articolo è disponibile su arXiv sotto Computer Science > Crittografia e Sicurezza.
- La natura irreversibile delle transazioni blockchain rende essenziale l'identificazione delle vulnerabilità.
- Gli LLM sono sempre più integrati nei flussi di lavoro degli sviluppatori, ma la loro affidabilità come auditor autonomi rimane non dimostrata.
Entità
Istituzioni
- arXiv