TowerMind: Un Nuovo Benchmark per Agenti LLM Basato su Giochi Tower Defense
I ricercatori hanno introdotto TowerMind, un nuovo ambiente e benchmark per valutare i Large Language Models (LLM) come agenti, basato sul sottogenere tower defense (TD) dei giochi di strategia in tempo reale (RTS). TowerMind supera le limitazioni degli ambienti RTS esistenti, che hanno elevate richieste computazionali o mancano di osservazioni testuali, offrendo bassi requisiti computazionali e uno spazio di osservazione multimodale. Ciò consente di valutare le capacità di pianificazione a lungo termine e di decision-making degli LLM, cruciali per adattarsi a scenari diversi. L'ambiente preserva i punti di forza chiave della valutazione dei giochi RTS, rendendolo più accessibile per i test sugli LLM.
Fatti principali
- TowerMind è un nuovo ambiente per agenti LLM basato su giochi tower defense.
- Presenta bassi requisiti computazionali e spazio di osservazione multimodale.
- Gli ambienti RTS esistenti hanno elevate richieste computazionali o mancano di osservazioni testuali.
- Gli LLM vengono valutati per le capacità di pianificazione a lungo termine e decision-making.
- I giochi RTS richiedono pianificazione strategica a livello macro e adattamento tattico a livello micro.
- L'ambiente è progettato per valutare gli LLM come agenti.
- TowerMind è presentato nell'articolo arXiv 2601.05899.
- L'articolo è stato annunciato come tipo 'replace' su arXiv.
Entità
Istituzioni
- arXiv