FrontierOR: un benchmark per testare i LLM sull'ottimizzazione su larga scala

FrontierOR è stato lanciato da ricercatori come benchmark per valutare la capacità dei grandi modelli linguistici (LLM) di progettare algoritmi efficienti per complesse sfide di ottimizzazione su larga scala. Questo benchmark comprende 180 task tratti da pubblicazioni leader nel campo della ricerca operativa, ciascuno accompagnato da istanze standardizzate e da un quadro di valutazione nascosto e convalidato da esperti. Sette LLM, inclusi modelli all'avanguardia, economici e open-source, sono stati testati in scenari one-shot e di evoluzione al momento del test. I risultati indicano che gli attuali LLM incontrano difficoltà nella progettazione di algoritmi scalabili, spesso con prestazioni inferiori rispetto ai metodi diretti di formulazione e risoluzione. FrontierOR mira a migliorare le prestazioni degli LLM nella ricerca operativa enfatizzando lo sfruttamento delle strutture dei problemi e la scalabilità, affrontando le carenze dei benchmark esistenti che si concentrano su esempi più piccoli o semplificati.