Echo Gap: Inflazione della Ricompensa nella Memoria in Agenti LLM Auto-Miglioranti
Uno studio recente pubblicato su arXiv (2608.00017) esamina una specifica modalità di fallimento negli agenti LLM auto-miglioranti che migliorano le loro prestazioni attraverso l'esperienza senza aggiornare i pesi. Questi agenti utilizzano una memoria esterna per memorizzare episodi, valutarli e successivamente recuperarne di simili per compiti futuri. Il punteggio assegnato a ciascun episodio funge da ricompensa proxy per una politica non parametrica, con ogni recupero che funge da passo verso il miglioramento della politica. Tuttavia, durante la distribuzione, l'assenza di etichette di verità di base fa sì che le ricompense memorizzate riflettano solo le valutazioni dell'LLM. Ciò porta al fenomeno 'Echo Gap' negli agenti auto-miglioranti basati su memoria, dove episodi errati ricevono ricompense esagerate, spingendo l'agente a ripetere i suoi errori più confidenti. L'articolo è segnalato come nuova sottomissione e può essere accessibile tramite l'URL fornito.
Fatti principali
- L'articolo è intitolato 'Memory Reward Inflation in Self-Improving LLM Agents'.
- È disponibile su arXiv con identificatore 2608.00017.
- Il tipo di annuncio è 'nuovo'.
- Gli agenti LLM auto-miglioranti apprendono dall'esperienza senza aggiornare i pesi.
- Gli episodi sono memorizzati in memoria esterna, valutati e recuperati per compiti futuri simili.
- Il punteggio memorizzato è una ricompensa proxy per una politica non parametrica implicita.
- In distribuzione, le etichette di verità di base non sono disponibili, quindi le ricompense memorizzate sono valutazioni dell'LLM.
- La modalità di fallimento è chiamata 'Echo Gap'.
- Gli episodi errati ricevono ricompense gonfiate, portando a un riutilizzo preferenziale degli errori.
- Gli errori si accumulano attraverso la memoria e correlano con il bias originale di autovalutazione.
Entità
Istituzioni
- arXiv