Regioni di fiducia scalate per entropia per RL asincrono

Un nuovo articolo su arXiv (2607.22186) rivela che i rapporti di importanza nell'apprendimento per rinforzo asincrono si scalano sistematicamente con l'entropia dei token, causando fenomeni distinti a bassa e alta entropia. A bassa entropia, la discrepanza tra training e inferenza si amplifica in rumore di campionamento; ad alta entropia, gli aggiornamenti dei pesi creano deviazioni esplorative legittime. I metodi esistenti che applicano soglie uniformi basate esclusivamente sulla magnitudine del rapporto ammettono involontariamente rumore amplificato mentre limitano strettamente l'esplorazione. L'articolo propone regioni di fiducia scalate per entropia per affrontare questo problema, migliorando la stabilità nel post-training di LLM.