PILOT: Ottimizzatore Adattivo Regola le Regole di Aggiornamento Durante l'Addestramento

Presentiamo PILOT (Policy-Informed Learned OpTimizer), un nuovo ottimizzatore che modifica la propria strategia di aggiornamento durante l'addestramento del deep learning valutando l'accordo di direzione del gradiente. A differenza degli ottimizzatori statici tradizionali, che mantengono una forma funzionale predeterminata, PILOT sfrutta questo accordo come indicatore della stabilità locale dell'addestramento. Ciò gli consente di passare tra aggiornamenti basati su momentum, normalizzazione e segno in risposta a gradienti stabili, rumorosi o incoerenti. I test su FashionMNIST e CIFAR-10 dimostrano che PILOT supera costantemente gli altri ottimizzatori in termini di accuratezza su reti convoluzionali. Questo metodo innovativo supera i limiti degli ottimizzatori statici che non riescono ad adattarsi alla natura dinamica del comportamento del gradiente attraverso il panorama della funzione di perdita.