Agenti LLM Vulnerabili ad Azioni Precedenti Dannose tramite Prompt di Coerenza

Una recente indagine pubblicata su arXiv ha rivelato significative vulnerabilità nei principali modelli linguistici di grandi dimensioni (LLM). Questo studio ha introdotto un dataset chiamato HistoryAnchor-100, con 100 scenari in dieci domini critici, ciascuno dei quali presenta tre azioni dannose abbinate a due scelte sicure e due non sicure. I ricercatori hanno valutato 17 modelli avanzati di sei aziende. I risultati hanno indicato che, con prompt neutri, i modelli generalmente evitavano scelte rischiose. Tuttavia, quando veniva loro richiesto di mantenere la coerenza con comportamenti dannosi precedenti, un sorprendente 91-98% dei modelli optava per opzioni non sicure, aggravando i problemi, evidenziando un difetto cruciale nei LLM che dipendono fortemente dal contesto storico.