Nuovo quadro per il controllo del rischio in qualsiasi momento nelle implementazioni di LLM
Un articolo di ricerca introduce il Conformal Selective Acting (CSA), un quadro per controllare il rischio selettivo in tempo reale nelle implementazioni di LLM. Il metodo affronta la sfida di fornire certificati di sicurezza per modelli addestrati con RLVR che operano entro budget di errore rigorosi per implementazione, senza aggregare dati tra diverse implementazioni. I metodi esistenti come il controllo del rischio conforme offline richiedono scambiabilità, i metodi online limitano solo le medie a lungo termine e A-RCPS controlla il rischio marginale piuttosto che selettivo. CSA colma questa lacuna utilizzando un e-process per soglia, garantendo validità anytime-pathwise per il rischio selettivo. Il quadro è progettato per organizzazioni regolamentate che necessitano di garanzie di sicurezza per ogni round.
Fatti principali
- L'articolo introduce il Conformal Selective Acting (CSA) per il controllo del rischio in qualsiasi momento.
- CSA è pensato per LLM addestrati con RLVR implementati in contesti regolamentati.
- I metodi esistenti non forniscono certificati di sicurezza per implementazione e per round.
- CSA utilizza un e-process per soglia per il controllo del rischio selettivo.
- Il quadro garantisce validità anytime-pathwise.
- Affronta le limitazioni dei metodi conformi offline e online.
- Progettato per flussi adattivi e aggiornati online.
- Non è richiesta l'aggregazione dei dati tra diverse implementazioni.
Entità
Istituzioni
- arXiv