SMCEvolve: Scoperta Scientifica Basata su Principi tramite Evoluzione Monte Carlo Sequenziale
Il recentemente introdotto framework SMCEvolve reinterpreta l'evoluzione dei programmi guidati da LLM come campionamento da una distribuzione target inclinata dai reward, utilizzando un campionatore Monte Carlo Sequenziale (SMC) per l'approssimazione. Questo metodo presenta tre componenti principali: ricampionamento adattivo dei genitori, una combinazione di mutazione con accettazione e controllo della convergenza automatica. Un'analisi della complessità del campione finito stabilisce i limiti sul budget di chiamate LLM per raggiungere un errore target specifico. In vari benchmark, tra cui matematica, efficienza algoritmica, regressione simbolica e ricerca ML completa, SMCEvolve supera i sistemi evolutivi leader utilizzando meno chiamate LLM con terminazione autodeterminata. Il codice è accessibile pubblicamente.
Fatti principali
- SMCEvolve riformula la ricerca di programmi come campionamento da una distribuzione target inclinata dai reward.
- Utilizza un campionatore Monte Carlo Sequenziale (SMC) per l'approssimazione.
- Tre meccanismi principali: ricampionamento adattivo dei genitori, miscela di mutazione con accettazione, controllo automatico della convergenza.
- Fornisce un'analisi della complessità del campione finito che delimita il budget di chiamate LLM.
- Testato su benchmark di matematica, efficienza algoritmica, regressione simbolica e ricerca ML end-to-end.
- Supera i sistemi evolutivi all'avanguardia con meno chiamate LLM.
- Il codice è disponibile.
- arXiv:2605.15308v1.
Entità
Istituzioni
- arXiv