PROCO: Apprendimento per Rinforzo Sicuro Basato su LLM da Dati Limitati di Violazione
Un nuovo framework chiamato PROCO è stato introdotto dai ricercatori, progettato per l'apprendimento per rinforzo sicuro offline utilizzando tecniche basate su modelli. Questo approccio sfrutta i grandi modelli linguistici (LLM) per incorporare conoscenze in linguaggio naturale, affrontando il problema di sviluppare politiche che rispettino i vincoli a partire da dataset privi di campioni non sicuri, una situazione frequente in contesti critici. I metodi tradizionali considerano solitamente tutti i dati ugualmente sicuri, trascurando stati sicuri ma irrealizzabili che possono portare a violazioni. Sfruttando gli LLM, PROCO migliora la sicurezza evitando interazioni online pericolose. Ulteriori informazioni su questo framework sono disponibili in arXiv:2605.01356.
Fatti principali
- PROCO è un framework di RL sicuro offline basato su modelli
- Utilizza grandi modelli linguistici per incorporare conoscenze in linguaggio naturale
- Affronta dataset con pochi o nessun campione non sicuro
- I metodi convenzionali trascurano gli stati sicuri ma irrealizzabili
- Scenari ad alto rischio impediscono tentativi ed errori pericolosi
- Il framework è descritto in arXiv:2605.01356
- Mira ad apprendere politiche che soddisfano i vincoli senza interazione online
- Ispirato dal concetto di integrazione conoscenza-dati
Entità
Istituzioni
- arXiv