DynaSchedBench: Benchmark Calibrati per Agenti di Scheduling LLM
Un nuovo framework diagnostico chiamato DynaSchedBench è stato sviluppato dai ricercatori per affrontare il problema dello scheduling flessibile di job shop dinamico (DFJSP). Questo framework risolve un conflitto metodologico in cui i benchmark statici possono portare a overfitting, mentre generatori non calibrati possono oscurare le reali capacità degli algoritmi. Utilizzando un calibratore sequenziale dello spazio degli eventi (SESC), DynaSchedBench calcola un indice di stress dello scheduling (SSI) che categorizza le istanze in base ai loro livelli di difficoltà. SESC dimostra una maggiore efficienza computazionale rispetto ai baseline evolutivi e soddisfa costantemente le metriche target. Inoltre, il framework presenta elementi modulari per la generazione di istanze, simulazione basata su snapshot, agenti, valutazione e visualizzazione, facilitando test approfonditi degli agenti di scheduling in tempo reale.
Fatti principali
- DynaSchedBench è un framework diagnostico per DFJSP.
- I benchmark statici incoraggiano l'overfitting del benchmark.
- I generatori non calibrati oscurano le capacità algoritmiche con rumore stocastico.
- Il calibratore sequenziale dello spazio degli eventi (SESC) calcola l'indice di stress dello scheduling (SSI).
- SSI stratifica le istanze per difficoltà.
- SESC è più efficiente dal punto di vista computazionale rispetto ai baseline evolutivi.
- Il framework include componenti modulari per generazione di istanze, simulazione, agenti, valutazione e visualizzazione.
- Il framework consente test rigorosi degli agenti di scheduling in tempo reale.
Entità
—