Scoperta di Kernel Guidata da LLM per Ottimizzazione Bayesiana ad Alta Dimensionalità
Un nuovo framework chiamato Kernel Discovery utilizza grandi modelli linguistici (LLM) per automatizzare la progettazione di kernel di Processi Gaussiani per l'ottimizzazione bayesiana ad alta dimensionalità. L'approccio supera due colli di bottiglia chiave: spazi di ricerca dei kernel limitati nei metodi automatizzati esistenti (ristretti ad addizioni e moltiplicazioni di kernel di base) e l'inattuabilità dei metodi basati su LLM che si basano su osservazioni grezze (a causa dei limiti di lunghezza del contesto e della difficoltà di estrarre pattern). Il framework impiega un processo evolutivo a due fasi in cui un LLM propone prima il codice del kernel, poi lo perfeziona senza bisogno di condizionamento sulle osservazioni, consentendo la ricerca su uno spazio più ampio di composizioni di kernel.
Fatti principali
- 1. Kernel Discovery è un framework evolutivo guidato da LLM per l'ottimizzazione bayesiana ad alta dimensionalità.
- 2. Cerca uno spazio di kernel più ampio oltre le regole di composizione predefinite.
- 3. Non richiede condizionamento sulle osservazioni.
- 4. Gli approcci automatizzati esistenti faticano a causa di spazi di ricerca dei kernel limitati.
- 5. Gli approcci basati su LLM che si basano su osservazioni grezze sono inattuabili in alte dimensioni.
- 6. Il framework utilizza un approccio a due fasi: l'LLM propone il codice del kernel, poi lo perfeziona.
- 7. Richiedere direttamente a un LLM produce kernel sintatticamente vari ma funzionalmente identici.
- 8. Il lavoro è pubblicato su arXiv con ID 2605.20249.
Entità
Istituzioni
- arXiv