ReElicit: Ottimizzazione Bayesiana per Prompt di Sistema
Un nuovo articolo di ricerca sull'IA introduce ReElicit, un framework di ottimizzazione bayesiana per la messa a punto dei prompt di sistema utilizzando feedback aggregati. I prompt di sistema sono cruciali per controllare il comportamento dell'IA ma sono difficili da ottimizzare quando sono disponibili solo punteggi scalari. ReElicit utilizza un LLM per elicitare uno spazio di caratteristiche compatto, mappa i prompt al suo interno e impiega un surrogato a processo gaussiano per selezionare le caratteristiche target. Lo spazio delle caratteristiche viene ri-elicitato man mano che arrivano nuove valutazioni, consentendo un adattamento dinamico. L'articolo è disponibile su arXiv con ID 2605.19093.
Fatti principali
- ReElicit è un framework di ottimizzazione bayesiana per prompt di sistema.
- Utilizza l'embedding tramite elicitazione per creare uno spazio di caratteristiche.
- Il framework gestisce il feedback aggregato come punteggi scalari.
- Un surrogato a processo gaussiano seleziona i vettori di caratteristiche target.
- Lo spazio delle caratteristiche viene ri-elicitato con nuove valutazioni.
- I prompt di sistema sono testo discreto di lunghezza variabile.
- L'articolo è su arXiv con ID 2605.19093.
- L'approccio è un'ottimizzazione black-box con vincoli di campionamento.
Entità
Istituzioni
- arXiv