ARC-AGI-3第一天,从0%到36%。
From 0% to 36% on Day 1 of ARC-AGI-3

原始链接: https://www.symbolica.ai/blog/arc-agi-3

Symbolica是一家总部位于湾区的、获得风险投资的研究型初创公司。如果您曾经因为思考深度学习之后会发生什么而辗转难眠,或者只是想参与构建机器学习的未来,我们期待与您交流。

一个黑客新闻的讨论集中在ARC-AGI-3基准测试的进展上,特别是Symbolica.ai模型在第一天据称取得36%的成功率。核心争论围绕着“辅助工具”的使用——一种帮助人工智能的工具——以及它对排行榜有效性的影响。 官方ARC-AGI-3排行榜不包括辅助工具的使用,但社区排行榜*确实*追踪使用辅助工具的结果。一些用户认为辅助工具是开发的关键领域,并主张设立一个专门的排行榜来反映这一点。另一些人则不同意,认为应该通过隐藏测试集的惩罚来解决通过辅助工具造成的过拟合问题。 一位用户询问了对Agentica SDK的经验,这是报告的成功中使用的辅助工具。尽管ARC-AGI-3技术论文中提到了它的存在,但指向包含辅助工具使用的社区排行榜的链接仍然难以找到。
相关文章

原文

Symbolica is a research-focused, venture-backed startup headquartered in the Bay Area.

If you've ever been kept awake wondering what will come after deep learning, or simply want to have a hand in building the future of machine learning, we want to hear from you.

联系我们 contact @ memedata.com