Benchmarking Text-to-SQL sotto Controllo degli Accessi Basato sui Ruoli
Un nuovo framework di benchmarking affronta il divario tra le prestazioni text-to-SQL sui benchmark standard e l'implementazione nel mondo reale sotto controllo degli accessi basato sui ruoli (RBAC). Gli attuali benchmark presuppongono un accesso illimitato al database, ma nella pratica le query degli utenti sono limitate dalle politiche RBAC. Il framework proposto arricchisce i benchmark esistenti con ruoli utente plausibili e politiche di accesso utilizzando un flusso di lavoro assistito da LLM. Formula la sintesi dei ruoli come un problema strutturato per generare vincoli realistici. Questo lavoro mira a valutare quanto bene gli LLM gestiscono la generazione di SQL quando l'accesso ai dati è limitato, evidenziando potenziali fallimenti sia nelle violazioni delle politiche che nelle query ammissibili mancate.
Fatti principali
- I sistemi Text-to-SQL generano query SQL a partire da domande in linguaggio naturale e uno schema di database.
- I benchmark popolari presuppongono un accesso illimitato al database.
- L'accesso nel mondo reale è spesso limitato tramite politiche RBAC.
- Il disallineamento può causare agli LLM di violare RBAC o rifiutare query valide.
- Il framework arricchisce i benchmark esistenti con ruoli utente e politiche di accesso.
- La sintesi dei ruoli è formulata come un problema strutturato.
- Il flusso di lavoro è assistito da LLM.
- L'articolo è su arXiv con ID 2607.22115.
Entità
—