Cloudless-Training: Framework Efficiente per l'Addestramento ML Geo-Distribuito

Il framework noto come Cloudless-Training, introdotto in arXiv:2303.05330, mira a migliorare l'efficienza dell'addestramento del machine learning su più regioni geografiche. Affronta due problemi significativi: la pianificazione elastica inefficiente delle risorse cloud distribuite su diverse regioni e il sovraccarico di comunicazione associato all'addestramento su reti geografiche (WAN), che soffrono di bassa larghezza di banda e notevoli fluttuazioni. Caratterizzato da un'architettura a due livelli che incorpora sia piani di controllo che di addestramento fisico, il framework facilita la pianificazione e la comunicazione elastica serverless. Inoltre, presenta una strategia di pianificazione dinamica che adatta i flussi di lavoro di addestramento in base a condizioni variabili. Questa iniziativa è particolarmente rilevante per nuove applicazioni di machine learning, tra cui l'addestramento di modelli di grandi dimensioni e l'apprendimento federato.