热力学自然梯度下降

热力学自然梯度下降
Thermodynamic Natural Gradient Descent

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。

本文提出将自然梯度下降（NGD）（一种二阶优化方法）用于机器学习任务。与传统的梯度下降不同，NGD 需要线性系统的求解，使其更加复杂。为了应对这一挑战，作者建议与常规 GPU 并行实施 NGD，利用 GPU 计算梯度和粗麻布矩阵，同时将线性系统计算卸载到热力学计算机。尽管目前还不存在热力学计算机的实际实现，但作者的目标是基于这个概念创建一个混合数字模拟训练循环，可能为更大的优化问题提供显着的优势。此外，作者还讨论了将该框架扩展到深度学习之外的各种优化场景的可能性。然而，他们尚未公开发布有关用于在神经网络之外访问此功能的 API 或软件堆栈的信息。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

热力学自然梯度下降 Thermodynamic Natural Gradient Descent

热力学自然梯度下降
Thermodynamic Natural Gradient Descent