MirrorCraft: Nuovo Benchmark Testa gli Agenti AI sotto Cambiamenti Nascosti delle Regole di Minecraft
Un team di ricercatori ha introdotto MirrorCraft, un nuovo benchmark volto a valutare quanto bene gli agenti basati su grandi modelli linguistici (LLM) possano adattarsi in Minecraft quando le meccaniche di gioco cambiano. A differenza delle valutazioni esistenti che si concentrano su regole fisse, MirrorCraft testa la flessibilità degli agenti quando elementi familiari come ricette e drop vengono modificati. Crea mondi 'Specchio' accoppiati che riflettono un mondo 'Vanilla' ma con specifiche modifiche lato server effettuate tramite datapack. Ogni coppia mantiene terreno, posizionamento delle risorse e obiettivi coerenti. Il benchmark presenta cinque biomi, sei set di regole, tre obiettivi di progressione, due tipi di modelli e sei configurazioni di agenti, tutti utilizzando un'interfaccia Mineflayer condivisa. L'adattabilità è misurata dal completamento delle attività. La ricerca è disponibile su arXiv con ID 2607.29218.
Fatti principali
- MirrorCraft è un benchmark accoppiato per valutare agenti basati su LLM in Minecraft sotto cambiamenti nascosti delle regole.
- Ogni mondo Specchio è una copia del suo mondo Vanilla accoppiato con selezionate regole lato server modificate tramite datapack.
- Terreno, spawn, posizionamento delle risorse, obiettivo, interfaccia e budget di azione rimangono abbinati in ogni coppia Vanilla-Specchio.
- MirrorCraft include cinque biomi controllati, sei suite di regole, tre obiettivi di progressione, due famiglie di modelli e sei configurazioni di agenti.
- Il benchmark utilizza un'interfaccia Mineflayer condivisa.
- L'articolo è disponibile su arXiv con identificatore 2607.29218.
- I benchmark esistenti tipicamente valutano gli agenti sotto meccaniche di gioco fisse.
- L'obiettivo è valutare se gli agenti possono continuare a progredire quando ricette, drop e altre regole familiari cambiano.
Entità
Istituzioni
- arXiv