Veroic: Controllo Adattivo dell'Inferenza per LLM Black-Box tramite Osservazioni Verificabili
Un nuovo framework chiamato Veroic (Osservazioni Verificabili per il Controllo dell'Inferenza Consapevole del Rischio) affronta il problema decisionale sequenziale con budget nei servizi di modelli linguistici di grandi dimensioni black-box. Il sistema decide per ogni richiesta se una risposta predefinita a basso costo è affidabile o se è necessario un calcolo aggiuntivo per migliorare la qualità. Formula il controllo al momento della richiesta come un processo decisionale di Markov parzialmente osservabile (POMDP) per gestire l'osservabilità parziale e l'accoppiamento sequenziale del budget. Un canale di osservazione verificabile leggero viene costruito a partire da coppie input-output aggregando segnali di qualità eterogenei in uno stato di credenza.
Fatti principali
- Propone il framework Veroic per il controllo adattivo dell'inferenza in contesti LLM black-box
- Formula il controllo al momento della richiesta come un processo decisionale di Markov parzialmente osservabile
- Cattura l'osservabilità parziale e l'accoppiamento sequenziale del budget
- Costruisce un canale di osservazione verificabile leggero a partire da coppie input-output
- Aggrega segnali di qualità eterogenei in uno stato di credenza
- Affronta il problema decisionale sequenziale con budget per ogni richiesta
- Decide se la risposta predefinita a basso costo è affidabile o se è necessario un calcolo aggiuntivo
- Pubblicato su arXiv con ID 2604.27536
Entità
Istituzioni
- arXiv