这篇 Hacker News 讨论帖探讨了由于“古德哈特定律”（Goodhart's Law）导致的基准测试持续失效问题。该定律指出：当一个指标变成目标时，它就不再是一个好的指标。 评论者认为，基准测试往往失效是因为它们依赖相关性而非因果变量；一旦开发者专门针对某个指标进行优化，这种相关性就会瓦解。除了人为操纵外，讨论还强调了当前评估方法中的系统性缺陷，例如数据泄露（训练集中包含测试问题）以及测试环境的污染。 尽管一些人认为基准测试本身存在缺陷——指出一旦某种指标确立，就不可避免地会诱发“刷榜”行为——但另一些人则认为它们仍然是必要的工具。为了缓解这些问题，参与者建议使用不对外公开且频繁更新的测试集。尽管这些基准测试存在“丑陋”的一面和普遍的不准确性，但贡献者们总结认为，它们对于衡量进步仍然至关重要，即便必须不断更新以保持其意义。