Studio su 57 Harness di Valutazione ML Rivela che la Fase di Specifica è il Principale Collo di Bottiglia

Uno studio empirico ha esaminato 57 harness di valutazione per machine learning, rivelando un framework a cinque fasi e categorizzando 16.560 problemi in base alla fase del flusso di lavoro e alle cause sottostanti. I risultati indicano che il 41,4% delle difficoltà operative si verifica durante la fase di Specifica, in cui gli harness incorporano modelli esterni, dataset e giudici di scoring. Le cause principali più frequenti includono funzionalità non implementate (24,3%), lacune nella documentazione (20,3%) e assenza di validazione degli input (17,2%), che insieme rappresentano il 61,7% di tutti i problemi identificati. Questi problemi comprendono sia difetti nelle funzionalità attuali sia carenze di capacità che ostacolano l'uso previsto. La ricerca sottolinea l'importanza significativa ma spesso trascurata degli harness di valutazione nell'infrastruttura del machine learning, sollecitando miglioramenti nelle loro pratiche ingegneristiche.