Difetti nel protocollo gonfiano i risultati del benchmark AutoML a budget brevi

Uno studio disponibile su arXiv (2608.07303) indica che il motore AutoML Orcetra ha superato sia FLAML che AutoGluon su 513 dataset OpenML, raggiungendo un tasso di successo del 57,1% entro un tempo di 60 secondi e del 78,4% quando confrontato solo con FLAML a 30 secondi. Tuttavia, questi risultati sono stati influenzati da difetti nel protocollo: il ciclo di ricerca ha valutato tutti i candidati sulla base del test split, riportando il punteggio più alto, il che ha distorto i risultati a causa di numerose stime rumorose. Al contrario, i baseline si basavano sui dati di addestramento, interagendo con il test set solo una volta. Inoltre, sebbene il budget fosse valutato prima dell'esecuzione del candidato, non è stato applicato durante, con Orcetra che ha impiegato in media 120 secondi, 2,24 volte più a lungo di AutoGluon. Gli autori intendono perfezionare la loro metodologia spostando la selezione su un set di validazione in futuri esperimenti.