LLMエージェントのベンチマークにおいて、ユーザー役のLLM（シミュレータ）が評価結果に及ぼす影響を分析。カスタマーサポート型ベンチマークの失敗事例から、ユーザー側の不可解な会話終了がスコアを左右する現状を指摘し、評価指標の妥当性を考察します。