SCHEDBench: Nuovo Benchmark Testa la Fedeltà ai Vincoli degli LLM nella Pianificazione

Un nuovo benchmark chiamato SCHEDBench è stato sviluppato dai ricercatori per valutare la fedeltà ai vincoli dei grandi modelli linguistici (LLM) in compiti di scheduling combinatorio. Questo benchmark, descritto in un articolo disponibile su arXiv (2608.00991), valuta se gli LLM producono schedule che seguono coerentemente un comportamento vincolo-compatibile attraverso diverse espressioni in linguaggio naturale. SCHEDBench include 1.132 istanze derivate da scenari di scheduling canonici e da fattibilità e ottimalità generate da solver, coprendo problemi di job-shop scheduling (JSP), project scheduling con vincoli di risorse (RCPSP), nurse scheduling e timetable curriculari di varie complessità. Le istanze vengono trasformate in problemi in linguaggio naturale utilizzando template specializzati e variazioni, con soluzioni di riferimento verificate per fattibilità e ottimalità. Il benchmark testa tredici modelli linguistici leader per vedere quanto bene mantengono la fedeltà ai vincoli in mezzo a differenze linguistiche, affrontando una lacuna significativa nella valutazione delle capacità di ragionamento degli LLM in contesti di scheduling, rilevanti per applicazioni come la gestione della forza lavoro e la pianificazione di progetti.