vLLM V1 corrisponde a V0 dopo la correzione di logprobs, impostazioni predefinite e precisione

Gli ingegneri AI di ServiceNow hanno risolto quattro problemi di backend per far sì che vLLM V1 corrispondesse a V0 nell'addestramento RL online: logprobs di rollout elaborati, impostazioni predefinite runtime specifiche di V1, percorso di aggiornamento dei pesi in volo e lm_head in fp32. La migrazione mirava alla parità del backend prima di qualsiasi modifica agli obiettivi RL. L'esecuzione di riferimento utilizzava vLLM 0.8.5; le esecuzioni V1 utilizzavano vLLM 0.18.1. I tentativi iniziali con V1 mostravano divergenze nel tasso di clip, KL, entropia e ricompensa. Le correzioni includevano l'impostazione di logprobs-mode=processed_logprobs, la disabilitazione della cache dei prefissi, l'abbinamento della modalità di aggiornamento in volo con clear_cache=False e l'abilitazione di lm_head in fp32. Dopo le correzioni, l'esecuzione finale di V1 ha seguito il riferimento V0 in tutte le metriche. Il team ha sottolineato l'importanza di correggere la correttezza del backend prima di aggiungere correzioni lato obiettivo come il campionamento per importanza troncato.