La distillazione della maschera d'ombra riduce la memoria della cache KV nel post-addestramento RL

Un nuovo metodo chiamato Shadow Mask Distillation (SMD) affronta il collo di bottiglia della memoria nel post-addestramento con apprendimento per rinforzo (RL) dei grandi modelli linguistici (LLM). Durante l'RL online, la fase di rollout genera traiettorie esplorative, ma i compiti di ragionamento a lungo contesto causano un'enorme impronta della cache Key-Value (KV), creando un "muro di memoria". Le tecniche esistenti di compressione della cache KV, sebbene quasi senza perdita durante l'inferenza standard, introducono un bias off-policy quando applicate durante i rollout perché anche piccoli errori di approssimazione vengono amplificati dall'instabilità dell'RL. SMD mitiga questo problema distillando un insegnante a contesto completo in uno studente a contesto sparso, consentendo un allineamento efficiente in termini di memoria senza sacrificare le prestazioni. Il metodo è compatibile con framework RL popolari come RLHF, RLAIF, PPO, GRPO e Online DPO. Gli esperimenti mostrano che SMD riduce la memoria della cache KV fino a 4x mantenendo o migliorando l'accuratezza dei compiti su benchmark di ragionamento a lungo contesto. Il paper è disponibile su arXiv con ID 2605.06850.