Il Campionamento di Potenza con Particelle Ausiliarie Potenzia il Ragionamento degli LLM al Momento dell'Inferenza

Una nuova tecnica nota come Auxiliary Particle Power Sampling (APPS) migliora le capacità di ragionamento multi-step dei grandi modelli linguistici (LLM) senza richiedere addestramento aggiuntivo. Questo metodo affronta una limitazione riconosciuta: mentre i LLM di base possono assegnare probabilità significative alle risposte corrette, spesso hanno difficoltà a identificarle efficientemente durante l'inferenza. APPS utilizza un algoritmo a particelle a blocchi per stimare il campionamento di potenza a livello di sequenza, concentrandosi su p_theta(x)^alpha con alpha > 1. Propaga simultaneamente ipotesi utilizzando un ripesaggio di potenza corretto per proposta e migliora la sopravvivenza attraverso una selezione guidata dal valore futuro nei punti di ricampionamento. Questo approccio rialloca le risorse computazionali limitate tra prefissi concorrenti invece di seguire una singola traiettoria. La ricerca, dettagliata nell'articolo su arXiv (2605.02427v1), presenta APPS come un metodo sistematico per guidare la decodifica verso risultati favorevoli.