強化学習手法A3Cを数式と擬似コードを用いて解説。現行のPPO等の主流手法と比較しつつ、非同期にエージェントを走らせる分散学習の設計思想が、学習の安定性にどう寄与しているかを紐解く。