Prompt Codebooks: Ottimizzazione Discreta per il Perfezionamento delle Istruzioni LLM
Un nuovo framework chiamato Prompt Codebooks (PCO) propone un approccio compositivo all'ottimizzazione automatica dei prompt (APO) per modelli linguistici di grandi dimensioni. A differenza dei metodi esistenti che trattano i prompt come stringhe monolitiche, PCO scompone i prompt in unità di istruzione atomiche e riutilizzabili chiamate istinti, organizzate in un codebook discreto. Un encoder basato su LLM instrada ogni input a un sottoinsieme di voci del codebook, che un generatore compone in un prompt per un modello target congelato. Un critico fornisce quindi un feedback strutturato scomposto in gradienti testuali per variabile, consentendo l'addestramento congiunto di encoder, generatore e codebook sotto un obiettivo min-max valutato linguisticamente. Questo approccio mira a produrre aggiornamenti più robusti e consentire il riutilizzo di sotto-comportamenti appresi tra compiti diversi.
Fatti principali
- Prompt Codebooks (PCO) è un framework compositivo per l'ottimizzazione dei prompt.
- PCO riformula l'APO come apprendimento discreto su un vocabolario finito di istinti in linguaggio naturale.
- Gli istinti sono unità di istruzione atomiche e riutilizzabili.
- PCO organizza la conoscenza di costruzione dei prompt in un codebook discreto.
- Un encoder basato su LLM instrada ogni input a un sottoinsieme di voci del codebook.
- Un generatore compone le voci selezionate in un prompt per il modello target congelato.
- Un critico emette un verdetto strutturato scomposto in gradienti testuali per variabile.
- L'addestramento utilizza un obiettivo min-max valutato linguisticamente.
- L'articolo è disponibile su arXiv con ID 2605.28360.
Entità
Istituzioni
- arXiv