EPO-Safe: Agenti LLM Apprendono la Sicurezza da Segnali di Pericolo a 1 Bit

I ricercatori hanno introdotto un nuovo framework chiamato EPO-Safe, che sta per Experiential Prompt Optimization for Safe Agents. Questo sistema innovativo consente agli agenti basati su modelli linguistici di grandi dimensioni di apprendere obiettivi di sicurezza puramente attraverso l'esperienza. EPO-Safe costruisce piani d'azione passo dopo passo, rispondendo a segnali di pericolo molto semplici (un solo bit per passo temporale) e migliora il proprio comportamento linguistico attraverso la riflessione. Invece di fare affidamento su testi estesi come i metodi tradizionali, opera efficacemente con informazioni limitate in ambienti strutturati. L'agente non accede alla funzione di performance nascosta R*; ha bisogno solo di un bit per segnalare azioni non sicure. I test condotti su cinque AI Safety Gridworlds, così come su cinque scenari testuali simili, mostrano che EPO-Safe identifica rapidamente comportamenti sicuri entro uno o due round, dimostrando una promettente via per il ragionamento sulla sicurezza in agenti autonomi.