OpenAI、SWE-Bench Proの推奨を撤回　タスクの30%に問題があると発表

OpenAIは、AIコーディングモデルの評価ベンチマークであるSWE-Bench Proを監査し、タスクの30%に問題があったとして、研究コミュニティ向けの主要な推奨ベンチマークとしての扱いを撤回した。SWE-Bench Proは、モデルが実際のソフトウェア修正に近い課題をどれだけ解けるかを見るための評価として使われてきた。

OpenAIは同時に、コーディングモデルが進歩するほど、評価はより難しく、公正で、信頼できるものにする必要があると説明している。ベンチマークに壊れたタスクや曖昧な課題が混ざると、モデルの実力差よりも評価側の欠陥が結果に出てしまうためだ。

CodexやClaude Codeのような開発エージェントでは、ベンチマーク結果がモデル選定や製品比較に直結しやすい。今回の発表は、単に特定ベンチマークの評価を下げる話ではなく、実運用に近いコーディング能力をどう測るかという基準作りが次の競争点になっていることを示している。