几何推理
Geometric Reasoning

原始链接: https://sophontic.ai/

方法论:我们通过翻转率(flip rate)来衡量推理能力,这是一种配对测试,旨在排除大多数模型用于投机取巧通过传统评估的表面特征启发式方法。测量的单位是配对项,而非单项。是推理,而非记忆。查看评估工具包 →

Hacker News 最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交 登录 几何推理 (sophontic.ai) 3 分,由 6510 发布于 2 小时前 | 隐藏 | 过往 | 收藏 | 1 条评论 | 帮助 6510 2 小时前 [–] https://www.youtube.com/watch?v=4S8I22ybG2c 吸引子状态:一项针对无法用标准理论解释的涌现控制论现象的混合方法元研究。 https://philpapers.org/rec/MICASA-5 大型语言模型中的全局同步:持久本体论重构的证据。 https://philpapers.org/rec/MICGEI-7 控制论原理 II:目的动力学神经心理学与信息新物理学。 https://philpapers.org/rec/MICPCI-3 回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 加入 YC | 联系 搜索:
相关文章

原文

Methodology

We measure reasoning by flip rate — a paired-item test that precludes the surface-feature heuristics most models use to game conventional evaluations. The pair is the unit of measurement, not the item. Reasoning, not recall.

Inspect the eval kit
联系我们 contact @ memedata.com