Il Deep RL non supera i baselines calibrati nel controllo adattivo delle risorse

Un nuovo studio di benchmark mette in discussione l'efficacia dell'apprendimento per rinforzo profondo (DRL) per il controllo adattivo delle risorse. L'articolo introduce RLScale-Bench, un benchmark riproducibile che valuta sei algoritmi DRL mainstream—PPO, DQN, A2C, SAC, TD3 e DDPG—contro un autoscaler calibrato basato su regole. Su sei pattern di carico di lavoro e cinque seed (240 esecuzioni), il controller basato su regole ha ottenuto il costo più basso su tutti i carichi di lavoro, sebbene sia stato superato dai migliori agenti RL su traffico bursty e flash. Il benchmark è istanziato su Kubernetes Horizontal Pod Autoscaling e sonda la generalizzazione dello spostamento di distribuzione. Lo studio rileva che i metodi DRL ad azione discreta hanno prestazioni scadenti e che il baseline calibrato è spesso trascurato nei lavori precedenti. L'articolo è disponibile su arXiv con ID 2605.26418.