OpenAI 已正式不再推荐使用 SWE-Bench Pro，这标志着整个行业在对待自动化编程基准测试的可靠性上出现了更广泛的转变。Hacker News 上的讨论反映出一种日益增长的共识：标准化测试本身存在缺陷，不足以衡量真正的通用人工智能（AGI）或现实世界中的问题解决能力。 评论者认为，目前的模型在处理特定领域的实际任务（如工程物理原型）时往往表现吃力，因为它们缺乏对现实物理机制和约束条件的根本理解。许多用户建议，比起追逐基准测试分数，行业更应专注于构建能够强制执行约束的“脚手架”或测试框架，从而实现更可靠的智能体工作流。另一些人则猜测，OpenAI 此举可能是因为竞争对手在这些特定数据集上进行“刷分”（针对高分进行优化）的效果越来越好，导致该指标在有意义的评估中变得不再实用。归根结底，社区的共识是，基准测试正逐渐失去其作为模型智能“黄金标准”的地位。