I LLM faticano con l'inganno nel gioco Secret Hitler

Uno studio recente pubblicato su arXiv presenta un nuovo framework open-source volto a valutare la capacità dei Large Language Models (LLM) di ingannare i giocatori nel gioco da tavolo Secret Hitler. I ricercatori hanno sviluppato nuove metriche come l'Accuratezza nell'Identificazione del Ruolo e il Tasso di Ritenzione dell'Inganno per misurare le prestazioni degli LLM. Hanno scoperto che gli LLM sono in ritardo sia rispetto ai giocatori umani che ai sistemi basati su regole nell'efficacia conversazionale rispetto alle capacità strategiche. Nonostante l'uso del Chain-of-Thought prompting, gli LLM hanno faticato, con i personaggi fascisti che hanno vinto il 23,2% in meno di frequenza. Al contrario, gli agenti basati su regole hanno raggiunto un allineamento dell'86,7% con il voto umano esperto, rivelando sfide significative nella valutazione dell'inganno degli LLM.