我可以购买你的 KV Cache 吗?
Can I Buy Your KV Cache?

原始链接: https://arxiv.org/abs/2606.13361

arXivLabs 是一个允许合作者直接在我们的网站上开发并分享 arXiv 新功能的框架。与 arXivLabs 合作的个人和组织都认同并秉持我们关于开放、社区、卓越及用户数据隐私的价值观。arXiv 致力于这些价值,并仅与遵守这些价值的合作伙伴开展工作。您是否有能够为 arXiv 社区增加价值的项目构想?了解更多关于 arXivLabs 的信息。

Hacker News | 最新 | 过往 | 评论 | 提问 | 展示 | 招聘 | 提交 | 登录 我可以购买你的 KV 缓存吗? (arxiv.org) 5 分,MediaSquirrel 发布于 1 小时前 | 隐藏 | 过往 | 收藏 | 4 条评论 | 帮助 lumost 13 分钟前 | 下一条 [–] KV 缓存具有顺序依赖性,并依赖于 KV 缓存之前存在的标记上下文。虽然有一些转换方法可以在推理过程中重用 KV 缓存,但由于转换后存在准确性问题,这些方法尚未得到广泛应用。 回复 dgellow 5 分钟前 | 父评论 | 下一条 [–] 只是好奇,你是否有关于 KV 缓存重用的转换或其他技术的阅读链接? 回复 sghiassy 17 分钟前 | 上一条 | 下一条 [–] 一个真正的全局单例 回复 root-parent 42 分钟前 | 上一条 | 下一条 [–] 用于提示词的 Lambda 计算? 回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请加入 YC | 联系 搜索:
相关文章

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

联系我们 contact @ memedata.com