多Token预测的正确做法
Multi-Token Prediction Done Right

原始链接: https://arxiv.org/abs/2610.38331

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发并分享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都已接受并认同我们开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观,并仅与遵守这些价值观的合作伙伴合作。有为 arXiv 社区增加价值的项目想法吗?了解更多关于 arXivLabs 的信息。

Hacker News 上一篇题为“Multi-Token Prediction Done Right”的帖子链接到一篇 arXiv 论文。它只有 3 分和 2 条评论,讨论有限。一名评论者称结果是统计偶然,影响微小且有时为负。作者回复说对损失数值的批评是公平的,但指出他们只能资助到 1.2B 规模。他们认为 Soft-MTP 的收益随规模稳定增长,残差不可约且噪声增加,移除是直观的。他们强调可通过小幅代码修改验证,并分享了一个 GitHub 仓库以及一个 35B 规模的复现数据点。
相关文章

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

联系我们 contact @ memedata.com