Nuovo Framework Senza Addestramento Utilizza Sequential Monte Carlo per il Decodaggio Guidato da Ricompense nei LLM

È stato presentato un nuovo framework probabilistico mirato al decodaggio guidato da ricompense nei grandi modelli linguistici, affrontando le carenze delle tecniche tradizionali che privilegiano la verosimiglianza a livello di token rispetto alla qualità complessiva delle sequenze. Questo metodo innovativo stabilisce una distribuzione target potenziata dalle ricompense per intere sequenze, fondendo le probabilità di transizione del modello con ricompense che dipendono dai prefissi. In modo significativo, opera senza addestramento, modificando la distribuzione inferenziale esclusivamente attraverso potenziali di ricompensa mentre mantiene intatti i pesi del modello, con miglioramenti derivanti dal campionamento al momento dell'inferenza. Per estrarre campioni da questa distribuzione, sono stati creati algoritmi Sequential Monte Carlo, caratterizzati da una variante computazionalmente efficiente che considera solo i prefissi e da una variante lookahead che allinea gli obiettivi intermedi con i marginali precisi della distribuzione della sequenza completa. Questo framework incorpora anche aggiornamenti resample-move insieme a un ringiovanimento Metropolis-Hastings. Questa ricerca, identificata come 2604.16453v1, è stata pubblicata su arXiv e rientra negli annunci incrociati. Questo metodo segna un notevole balzo in avanti nelle strategie di decodaggio offrendo un modo sistematico per integrare metriche di qualità a livello di sequenza senza necessitare di riaddestramento del modello o aggiustamenti dei pesi.