非同期強化学習におけるstaleなデータが最適化に与える悪影響と、その対策を論じた論文の解説。重要性比の制御において、tokenの局所エントロピーが本質的な尺度であることを示し、エントロピーを無視することで生じる方策崩壊のリスクと解決策を詳解します。