SCOPE Benchmark Valuta i LLM nella Progettazione Sperimentale Autonoma

È stato lanciato un nuovo standard noto come SCOPE (Scientific COmprehensive Planning Evaluation Benchmark) per valutare quanto bene i modelli linguistici di grandi dimensioni (LLM) possano creare autonomamente esperimenti di alta qualità. Questo benchmark si basa su 300 articoli recenti e di alta qualità provenienti da 19 campi di ricerca, tratti da conferenze prestigiose come ICML, NeurIPS e ICLR. SCOPE valuta gli LLM in due aree: la completezza della pianificazione di alto livello (inclusi esperimenti principali, di ablazione e di analisi) e l'accuratezza e la razionalità delle configurazioni di basso livello (che comprendono dataset, baseline e metriche). I risultati iniziali evidenziano tre principali intuizioni: la maggior parte degli LLM ha difficoltà a progettare esperimenti di qualità, tutti affrontano sfide nella configurazione di basso livello, e il benchmark colma una lacuna significativa nell'AI4Research, che ha in gran parte trascurato la progettazione sperimentale. L'articolo è accessibile su arXiv con l'identificatore 2608.03501.