EVA-0: Evoluzione del modello in fase di test con due passaggi in avanti

I ricercatori hanno presentato un nuovo framework chiamato EVA-0, volto a migliorare l'evoluzione del modello di ordine zero durante il test. Opera entro un limite di due passaggi in avanti, eliminando la necessità di retropropagazione. Ciò lo rende adatto per dispositivi edge, modelli quantizzati, acceleratori specializzati e persino modelli black-box. EVA-0 affronta tre sfide chiave nell'ottimizzazione di ordine zero: la possibilità di soluzioni di scorciatoia, il problema della deriva dei pesi e la difficoltà di stimare accuratamente le direzioni di aggiornamento. Per affrontarle, utilizza una perdita invariante di scala per prevenire scorciatoie, un'ottimizzazione guidata da ancoraggi per gestire la deriva dei pesi e una perturbazione simmetrica bilaterale per campione per una migliore stima del gradiente. Questa ricerca è disponibile su arXiv con ID 2605.18867.