OpenAIは、コーディングベンチマーク「SWE-Bench Pro」が信頼性を失ったとして、推奨ベンチマークから撤回しました。
コーディング評価「SWE-Bench Pro」は役に立たない。OpenAIが非推奨に
編集メモ: 主要なAIベンチマークの信頼性が揺らいでおり、エンジニアはAI選定時に特定の指標を盲信せず、実際の業務遂行能力に基づく独自評価を行う必要があります。
OpenAIは、コーディングベンチマーク「SWE-Bench Pro」が信頼性を失ったとして、推奨ベンチマークから撤回しました。