基于对称性感知泰勒逼近的恒定每token成本注意力机制

基于对称性感知泰勒逼近的恒定每token成本注意力机制
Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。个人和与arXivLabs合作的组织都接受并拥护我们的开放、社群、卓越和用户数据隐私等价值观。arXiv致力于这些价值观，并且只与秉持这些价值观的合作伙伴合作。您是否有为arXiv社群增加价值的项目想法？了解更多关于arXivLabs的信息。

一篇新的研究论文提出了一种名为“对称感知泰勒近似”（SATA）的方法，旨在降低大型语言模型中注意力机制的计算成本。其核心思想是使用泰勒级数展开来近似softmax函数——注意力机制的关键部分。尽管可能带来性能提升，但Hacker News上的评论员对此表示怀疑。一个主要担忧是，SATA可能会“削弱”注意力机制专注于关键信息的能力（“在干草堆中找针”的情况），从而可能降低性能。还有人质疑该近似的准确性是否值得其复杂性，指出即使声称准确性可与Float16精度（使用四项）相媲美，泰勒展开在GPU上计算速度也可能较慢。讨论的重点在于SATA是否可以作为亚二次注意力的一种独立解决方案，或者与其他稀疏注意力技术结合使用时可能更有效。该项目的GitHub仓库也被分享。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

基于对称性感知泰勒逼近的恒定每token成本注意力机制 Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation

基于对称性感知泰勒逼近的恒定每token成本注意力机制
Attention at Constant Cost per Token via Symmetry-Aware Taylor Approximation