I Knowledge Graph Migliorano la Conformità degli LLM alle Politiche sull'IA
Un team di ricercatori ha introdotto un framework agentico volto a generare knowledge graph (KG) a partire da documenti di policy sull'IA per migliorare le capacità di ragionamento degli LLM in merito all'aderenza alle politiche. Hanno creato KG basati su tre politiche relative ai rischi dell'IA utilizzando due schemi ontologici, valutando cinque LLM su 42 compiti di QA sulle politiche che comprendevano sei tipi di ragionamento. L'aggiunta dei KG ha portato a un miglioramento delle prestazioni per tutti i modelli, e uno schema scoperto dagli LLM ha superato o eguagliato l'ontologia formale consolidata. Questa ricerca risponde all'urgente richiesta di un'IA sicura e protetta, mentre le funzionalità vengono rapidamente integrate nelle applicazioni software.
Fatti principali
- Il framework costruisce KG a partire da documenti di policy sull'IA
- KG costruiti da tre politiche relative ai rischi dell'IA
- Due schemi ontologici utilizzati
- Cinque LLM valutati su 42 compiti di QA sulle politiche
- Sei tipi di ragionamento testati: dalla ricerca di entità all'inferenza tra politiche
- L'aggiunta dei KG ha migliorato i punteggi per tutti e cinque i modelli
- Uno schema aperto scoperto dagli LLM ha eguagliato o superato l'ontologia formale
- Affronta i rischi derivanti dalle funzionalità di IA nelle applicazioni software
Entità
Istituzioni
- arXiv