L'articolo arXiv presenta RGE, un monitor di fiducia basato su ontologia per agenti AI a lungo orizzonte
L'articolo arXiv:2608.17718v1 presenta un approccio innovativo per il monitoraggio di agenti AI a lungo orizzonte, valutando le loro traiettorie in evoluzione in relazione ai compiti approvati dall'utente. Sottolinea l'importanza di considerare l'intera traiettoria piuttosto che solo azioni isolate, poiché può verificarsi una deriva inosservata. I metodi esistenti tipicamente comportano valutazioni di conformità locale, giudizi finali o punteggi di rischio generico, che non includono un'analisi a livello di prefisso. Il concetto di 'fiducia ontologica' è definito come una proprietà dei prefissi di traiettoria condizionata dai compiti ed è implementato in RGE, un sistema di monitoraggio online che scompone la fiducia in Ruolo, Obiettivo ed Evidenza. RGE impiega modelli linguistici di grandi dimensioni per rappresentazioni strutturate dei compiti, mentre altri sistemi gestiscono gli aggiornamenti dello stato di fiducia e gli interventi. Questa ricerca mira a migliorare l'allineamento dell'AI e a perfezionare il rilevamento precoce della deriva rispetto alle tecniche attuali.
Fatti principali
- L'articolo introduce la 'fiducia ontologica', una proprietà dei prefissi di traiettoria condizionata dal compito.
- RGE è un monitor online che scompone la fiducia in Ruolo, Obiettivo ed Evidenza.
- Gli agenti a lungo orizzonte operano attraverso molti passaggi, strumenti e osservazioni.
- I monitor esistenti per lo più verificano la conformità locale, forniscono verdetti sulla traccia finale o valutano il rischio generico.
- La deriva può verificarsi quando un agente chiama lo strumento giusto con argomenti plausibili ma si sposta verso un ruolo più ampio o un obiettivo adiacente.
- RGE utilizza i LLM solo per derivare rappresentazioni strutturate dei compiti e dei passaggi.
- L'articolo è catalogato come arXiv:2608.17718v1 ed è stato annunciato come nuova sottomissione.
- Nell'abstract non vengono menzionati nomi di autori, istituzioni o luoghi.
Entità
Istituzioni
- arXiv