Modello di Ottimizzazione Pre-addestrato Migliora l'Ottimizzazione Black-Box Zero-Shot
Un nuovo Modello di Ottimizzazione Pre-addestrato (POM) è stato sviluppato dai ricercatori per migliorare l'ottimizzazione zero-shot, che coinvolge un ottimizzatore che affronta un compito che non faceva parte del suo addestramento. Questo modello utilizza intuizioni da vari compiti di ottimizzazione per fornire soluzioni efficaci, direttamente o tramite fine-tuning con campioni limitati. Testato contro il benchmark BBOB e due compiti di controllo robotico, POM supera le principali tecniche di ottimizzazione black-box, specialmente in contesti ad alta dimensionalità. In particolare, il fine-tuning con pochi campioni e budget porta a notevoli miglioramenti delle prestazioni. Lo studio, pubblicato su arXiv (2405.03728), affronta il problema della regolazione degli iperparametri che molti ottimizzatori attuali affrontano quando trattano nuovi compiti, puntando a prestazioni affidabili in diverse applicazioni.
Fatti principali
- POM è un modello di ottimizzazione pre-addestrato per l'ottimizzazione black-box zero-shot.
- Sfrutta la conoscenza da diversi compiti per ottimizzare compiti mai visti.
- Valutato sul benchmark BBOB e su due compiti di controllo robotico.
- Supera i metodi all'avanguardia, specialmente per compiti ad alta dimensionalità.
- Il fine-tuning con pochi campioni e budget migliora significativamente le prestazioni.
- L'articolo è disponibile su arXiv con ID 2405.03728.
- Affronta la necessità di una complessa regolazione degli iperparametri negli ottimizzatori attuali.
- Punta a prestazioni affidabili e robuste in varie applicazioni.
Entità
Istituzioni
- arXiv