La Guida Classificatore-Libera Ponderata per Ricompensa Abilita l'Ottimizzazione in Tempo di Test nei Modelli Autoregressivi

Una nuova tecnica nota come guida classificatore-libera ponderata per ricompensa (RCFG) funge da operatore di miglioramento delle politiche per modelli autoregressivi, consentendo l'ottimizzazione delle funzioni di ricompensa senza necessità di riaddestramento. Questo metodo approssima l'aggiustamento della distribuzione di campionamento tramite la funzione Q, superando lo svantaggio dell'apprendimento per rinforzo tradizionale che richiede un completo riaddestramento quando le funzioni di ricompensa vengono modificate. L'RCFG è stata utilizzata efficacemente nella generazione molecolare, dimostrando la sua capacità di ottimizzare nuove funzioni di ricompensa durante i test. Inoltre, impiegare l'RCFG come insegnante e distillarla nella politica base fornisce un utile avvio a caldo. Questa ricerca è dettagliata nella preprint arXiv 2604.15577v1, che è stata notata come pubblicazione cross-tipo. Il metodo affronta specificamente output riassunti da vettori di attributi, come utilità versus dannosità o biodisponibilità versus lipofilia, con funzioni di ricompensa arbitrarie che riflettono compromessi tra queste caratteristiche.