Ottimizzazione Continua tramite Ricerca Euristica Latente per la Progettazione Automatica di Algoritmi
Un nuovo framework da arXiv (2605.17137) propone la scoperta euristica continua per la progettazione automatica di algoritmi, spostando l'ottimizzazione dalla sintassi discreta dei programmi a una varietà latente appresa. Il metodo utilizza un codificatore per mappare programmi discreti in embedding continui, addestra un modello surrogato differenziabile per prevedere le prestazioni e impiega una ricerca basata sul gradiente. Un flusso normalizzante invertibile regolarizza l'ottimizzazione mappando gli embedding a un prior gaussiano strutturato, dove viene eseguita la discesa del gradiente. I vettori latenti ottimizzati vengono proiettati tramite un mapper appreso in prompt soft, condizionando un Large Language Model (LLM) congelato a sintetizzare nuove euristiche eseguibili. Questo approccio affronta il panorama di ottimizzazione non convesso dei metodi evolutivi tradizionali che si basano sul campionamento stocastico.
Fatti principali
- L'articolo arXiv 2605.17137 propone un framework di scoperta euristica continua
- Sposta l'ottimizzazione dalla sintassi discreta dei programmi a una varietà latente appresa
- Utilizza un codificatore per mappare programmi discreti in embedding continui
- Addestra un modello surrogato differenziabile per prevedere le prestazioni
- Impiega una ricerca basata sul gradiente sulla varietà latente
- Un flusso normalizzante invertibile mappa gli embedding a un prior gaussiano strutturato
- La discesa del gradiente viene eseguita nello spazio del prior gaussiano
- I vettori latenti ottimizzati vengono proiettati in prompt soft per un LLM congelato che sintetizza euristiche
Entità
Istituzioni
- arXiv