LLMエージェントの本番運用では単発の成功率よりも「毎回成功する確率」が重要となる。τ-benchが提案する「pass^k」指標を用い、小売カスタマーサポートタスクを通じてエージェントの安定性を検証した実践記録。
τ²-benchでpass^kの減衰を実測した
編集メモ: LLMエージェントの本番運用では、単発の成功率よりも「毎回確実に成功する確率（pass^k）」を評価し、業務での信頼性を確保する必要がある。
LLMエージェントの本番運用では単発の成功率よりも「毎回成功する確率」が重要となる。τ-benchが提案する「pass^k」指標を用い、小売カスタマーサポートタスクを通じてエージェントの安定性を検証した実践記録。
