Uno studio rileva che gli agenti AI auto-miglioranti sono fragili a causa del rumore e dell'ordine dei compiti

Un nuovo preprint arXiv (2608.18066v1) rivaluta gli agenti auto-miglioranti basati su memoria—sistemi che apprendono da un flusso online di compiti e mantengono una banca di memoria testuale. Lo studio amplia la valutazione lungo due assi: più esecuzioni per quantificare la varianza e mescolamento casuale dei compiti per testare gli effetti dell'ordine dei compiti. I risultati rivelano che la valutazione degli agenti è intrinsecamente rumorosa in ambienti complessi e compiti multi-step, e il ciclo di auto-miglioramento può amplificare tale rumore. Inoltre, il miglioramento dipende fortemente dall'ordine dei compiti; i lavori precedenti spesso utilizzavano sequenze predefinite che impongono un curriculum implicito. L'articolo evidenzia i problemi di affidabilità trascurati in questi metodi e richiama l'attenzione sulla sotto-specificazione dei protocolli di valutazione attuali.