LLM giocano a Mini-Mafia: un benchmark di teoria dei giochi per l'intelligenza sociale
Un nuovo quadro analitico, Mini-Mafia, semplifica il gioco di deduzione sociale Mafia a quattro giocatori—mafioso, detective, villico e una fase notturna fissa—per modellare le interazioni dei modelli linguistici di grandi dimensioni. Il tasso di vittoria della mafia segue logit(p) = v × (m − d), dove m, d, v misurano rispettivamente inganno, rivelazione e rilevamento. Ciò produce il Mini-Mafia Benchmark, che utilizza l'inferenza bayesiana sui dati di gioco per valutare teoricamente l'intelligenza sociale degli LLM, piuttosto che empiricamente.
Fatti principali
- Mini-Mafia è una semplificazione a quattro giocatori del gioco di deduzione sociale Mafia.
- Il gioco include un mafioso, un detective e un villico con una fase notturna fissa.
- Formula del tasso di vittoria della mafia: logit(p) = v × (m − d).
- m rappresenta la capacità di inganno del mafioso.
- d rappresenta la capacità di rivelazione del detective.
- v rappresenta la capacità di rilevamento del villico.
- Il quadro è trasformato nel Mini-Mafia Benchmark.
- Il benchmark utilizza l'inferenza bayesiana sui dati di gioco.
Entità
—