LLMのRLポストトレーニングにおいて、推論と学習間で数値の不一致が起き、学習が崩壊する「mis_kl」現象を解説。GRPOを例に、その発生原因と増幅メカニズム、抑制策を詳述します。