语言模型需要睡眠

语言模型需要睡眠
Language Models Need Sleep

arXivLabs 是一个允许合作者直接在我们的网站上开发并分享 arXiv 新功能的框架。与 arXivLabs 合作的个人和组织都秉持并认同我们对开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观，并仅与遵守这些价值观的合作伙伴合作。如果您有能为 arXiv 社区增值的项目构想，请了解更多关于 arXivLabs 的信息。

Hacker News 正在讨论一篇题为《语言模型需要睡眠》（Language Models Need Sleep）的论文，该论文提出了一种机制，即人工智能在清除缓存前，应先将近期语境巩固到持久权重中。评论者们正在争论“睡眠”这一隐喻的实用性。一些批评者认为，将人工智能拟人化并无益处，他们将这一过程比作标准的维护或系统重启。另一些人则为该术语辩护，指出该论文描述了生物学睡眠的功能等价物——即瞬时信息转化为长期记忆的过程。技术观察人士指出，这一过程比简单的语境修剪更为复杂；它涉及实际的权重更新。归根结底，这一讨论凸显了学术出版中的一种张力：即如何在精准、枯燥的技术语言与能够吸引眼球但可能导致误解的“性感”标题之间做出选择。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

语言模型需要睡眠 Language Models Need Sleep

语言模型需要睡眠
Language Models Need Sleep