BODHI: Inferenza di Specifiche per Kernel di Sistemi Operativi Basata su LLM
Un nuovo metodo chiamato BODHI è stato introdotto dai ricercatori per migliorare la creazione automatica di specifiche formali per kernel di sistemi operativi attraverso modelli linguistici di grandi dimensioni. Questo approccio arricchisce i prompt few-shot con una guida dettagliata per la traduzione da C a Python che comprende 15 categorie di pattern specifici del dominio. Ispirandosi al prompting Structured Chain-of-Thought, distingue tra l'estrazione delle pre-condizioni e la generazione delle post-condizioni. BODHI è stato testato su nove modelli di sei diversi fornitori—Anthropic, Mistral, Amazon, DeepSeek, Meta e Alibaba—affrontando il benchmark OSV-Bench, che include 245 compiti di generazione di specifiche dal kernel del sistema operativo Hyperkernel, raggiungendo il più alto tasso Pass@1 riportato del 55,10%.
Fatti principali
- BODHI è un metodo di prompting basato su conoscenza di dominio per l'inferenza di specifiche di kernel di sistemi operativi tramite LLM.
- Arricchisce i prompt few-shot con una guida strutturata per la traduzione da C a Python che copre 15 categorie.
- Il metodo si ispira al prompting Structured Chain-of-Thought (SCoT).
- Separa l'estrazione delle pre-condizioni e la generazione delle post-condizioni come categorie distinte.
- Valutato su nove modelli di sei fornitori: Anthropic, Mistral, Amazon, DeepSeek, Meta, Alibaba.
- Il benchmark OSV-Bench include 245 compiti di generazione di specifiche dal kernel del sistema operativo Hyperkernel.
- Il miglior Pass@1 riportato su OSV-Bench è del 55,10%.
- Il lavoro è pubblicato su arXiv con ID 2605.23931.
Entità
Istituzioni
- Anthropic
- Mistral
- Amazon
- DeepSeek
- Meta
- Alibaba