Framework di Ottimizzazione Bayesiana Guidato da LLM per la Scoperta Scientifica

Un approccio innovativo noto come Ottimizzazione Bayesiana Guidata da LLM (LGBO) incorpora grandi modelli linguistici nel processo di ottimizzazione bayesiana, migliorando l'efficienza dell'esplorazione scientifica. Questo framework presenta un meccanismo di preferenza sollevato per regione, che integra le preferenze derivate dagli LLM in ogni iterazione, consentendo un aggiustamento stabile e gestibile della media surrogata. Affronta efficacemente i problemi di lente prestazioni a freddo e di limitata scalabilità in contesti ad alta dimensionalità che ostacolano l'ottimizzazione bayesiana convenzionale. A differenza dei metodi precedenti che utilizzavano gli LLM solo per l'inizializzazione a caldo o per la generazione di candidati, LGBO è il primo a intrecciare senza soluzione di continuità il ragionamento semantico degli LLM nel ciclo di ottimizzazione. Prove teoriche supportano l'affermazione che LGBO offre prestazioni superiori.