AdaMeZO: Ottimizzatore di Ordine Zero Efficiente in Memoria per il Fine-Tuning di LLM

AdaMeZO è un nuovo ottimizzatore di ordine zero progettato per il fine-tuning di grandi modelli linguistici (LLM) senza l'overhead di memoria dovuto al mantenimento dei momenti di primo e secondo ordine. I metodi tradizionali basati sulla retropropagazione richiedono una notevole memoria GPU, mentre MeZO riduce la memoria utilizzando solo passaggi in avanti, ma soffre di una convergenza più lenta. AdaMeZO incorpora stime dei momenti in stile Adam senza memorizzarle, ottenendo una convergenza più rapida pur preservando l'efficienza di memoria di MeZO. L'articolo fornisce analisi teoriche e validazione sperimentale che dimostrano l'efficacia di AdaMeZO.