苹果：令人尴尬的简单自蒸馏改进代码生成

苹果：令人尴尬的简单自蒸馏改进代码生成
Simple self-distillation improves code generation

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。个人和与arXivLabs合作的组织都认同并接受我们开放、社群、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与秉持这些价值观的合作伙伴合作。您是否有为arXiv社群增加价值的项目想法？了解更多关于arXivLabs的信息。

最近的一篇苹果研究论文详细介绍了一种令人惊讶地有效且简单的技术，称为“自蒸馏”，用于改进人工智能模型的代码生成。该方法涉及让模型从其*自身*的输出中学习，从而在无需外部数据的情况下改进其性能。 Hacker News上的讨论强调了机器学习领域突破性进展常常出人意料的简单性，以及缺乏指导开发的根本理论——导致了一种“碰运气”的方法。评论员还注意到该论文标题略显夸张，以及需要更好的工具来理解神经网络的内部运作。关于“SSD”这个缩写已经被使用的争论出现，并提出了替代方案。最后，有人提出了一种颇具争议的经验法则：论文作者中多数为中国人的论文往往特别值得关注，这反映了科学领导地位的历史趋势。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

苹果：令人尴尬的简单自蒸馏改进代码生成 Simple self-distillation improves code generation

苹果：令人尴尬的简单自蒸馏改进代码生成
Simple self-distillation improves code generation