AIモデルを更新する際、単なるベンチマーク比較よりも実務的なtraceの分析が重要であると説く。Agentを本番運用する際、引数の微妙なズレが致命的な不具合を招くリスクについて、他社の移行事例を参考に注意点をまとめた。