Il monitoraggio della realtà nei LLM fallisce quando la memoria conversazionale è sotto stress

Una recente indagine pubblicata su arXiv esamina se i grandi modelli linguistici (LLM) possono distinguere tra i propri output e gli input degli utenti, un'abilità nota come monitoraggio della realtà. I ricercatori hanno condotto due esperimenti coinvolgendo sei LLM e hanno scoperto che l'accuratezza dell'attribuzione della fonte è influenzata dalla struttura della memoria conversazionale. Quando le richieste di memoria sono basse, i modelli mostrano un'accuratezza quasi perfetta per i contenuti autogenerati. Tuttavia, questo si trasforma in un fragile vantaggio per gli elementi esterni quando si verificano ritardi episodici. Il feedback indica due tipi di errori: in alcuni modelli, le valutazioni interne ed esterne si scambiano, mentre in altri l'accuratezza aumenta ma la fiducia si disconnette dalla correttezza, problemi non catturati dagli attuali benchmark. Questo schema evidenzia l'importanza del conteggio dei parametri attivi rispetto al conteggio totale. I risultati implicano che, mentre i sistemi di IA si impegnano in interazioni autonome a più turni, la loro incapacità di tracciare le fonti può portare a interpretare erroneamente i propri errori come informazioni fornite dall'utente, potenzialmente causando allucinazioni e confabulazioni.