I modelli del mondo di codice LLM rischiano di non rilevare eventi critici nel controllo continuo, secondo un nuovo studio
Uno studio disponibile su arXiv (identificatore 2608.17956) indaga la sicurezza dei modelli del mondo di codice derivati da grandi modelli linguistici (LLM) in ambienti di controllo continuo. Un LLM genera un modello in grado di eseguire azioni basate sul comportamento di un sistema, che viene poi utilizzato da un pianificatore classico. Questo modello è considerato valido se riflette accuratamente le transizioni casuali del sistema reale. Gli autori discutono i potenziali rischi, indicando che per un evento critico con probabilità r, la probabilità che N rollout indipendenti lo manchino è (1-r)^N. I loro esperimenti rivelano che un modello cieco alle modalità accettato può essere manipolato, con un conseguente notevole regret. I risultati sottolineano la necessità di metodi di verifica robusti nella robotica basata su LLM. Il preprint non è stato sottoposto a revisione paritaria.
Fatti principali
- L'articolo è pubblicato su arXiv come preprint 2608.17956.
- Studia il paradigma del Code World Model, in cui un LLM genera un modello del mondo eseguibile.
- Un pianificatore classico utilizza il modello per cercare sequenze di azioni.
- L'accettazione di un modello si basa sulla sua capacità di riprodurre transizioni campionate.
- La probabilità che N rollout indipendenti di gate manchino tutti un evento critico di probabilità r è (1-r)^N.
- Aggiungere un campione di accettazione indipendente aumenta l'esponente di questa probabilità.
- I test su tre strumenti ibridi mostrano che il pianificatore è intrappolato al confine di modalità, con un regret quasi pari all'intero rendimento ottenibile.
- Un budget di localizzazione è dimostrato nei punti di confine, ma le modalità di reset discontinue non vi sono soggette.
Entità
—