Nuova ricerca sull'IA migliora la previsione del tempo di addestramento per il deep learning distribuito a precisione mista

Un nuovo articolo di ricerca affronta una lacuna critica nella previsione del tempo di addestramento per i sistemi di deep learning distribuito. Lo studio rileva che le impostazioni di precisione in virgola mobile influenzano significativamente la durata dell'addestramento, causando variazioni di circa 2,4 volte il tempo minimo. I metodi di previsione esistenti falliscono perché si basano su grafici computazionali statici del modello che non tengono conto delle variazioni di precisione, compresi gli approcci a precisione mista. Gli esperimenti dimostrano che questi metodi tradizionali producono errori sostanziali, con errore percentuale medio assoluto che raggiunge fino al 147,85%. Per risolvere questo problema, i ricercatori hanno sviluppato un predittore consapevole della precisione che garantisce una robusta accuratezza in diverse impostazioni di precisione. Questo nuovo strumento raggiunge un tasso di errore molto più basso del 9,8% MAPE. La previsione accurata del tempo di addestramento è essenziale per un'allocazione efficiente delle risorse, la stima dei costi e la pianificazione dei lavori negli ambienti di deep learning distribuito. La ricerca è stata pubblicata su arXiv, una piattaforma per articoli scientifici in campi come l'informatica e il machine learning.