Hacker News 上的讨论聚焦于一篇论文，该论文让大型语言模型（LLM）将上下文视为一个可编辑的文件，并学习随着时间推移应当保留、删除或总结哪些信息。 主要担忧在于 KV 缓存的效率。当较早的上下文发生变化时，传统的前缀缓存就会失效，因此不受限制地编辑上下文会产生高昂成本，尤其是在使用标准 API 时。据称，研究人员部分通过模型侧的缓存处理来解决这一问题，但评论者正在讨论复用过期缓存状态可能带来的影响。RoPE 位置编码会使任意插入和删除内容变得更加复杂，而不稳定的缓存内容可能只会对模型产生细微的引导或干扰，不一定会导致明显的失败。 人们提出的替代方案包括专门的上下文管理模型、固定的摘要区域、外部日志和文件系统产物、检索系统，以及“将上下文视为数据库”的设计。这些方案会带来额外的成本、复杂性或注意力开销。 一些怀疑者认为，这项工作只是给已有的智能体记忆或上下文压缩技术换上了更新的术语。另一些人则认为 jointly learning context management and cache-aware inference might represent a meaningful architectural advance. Ultimately, benchmarks and serving efficiency will determine whether it is genuinely novel.Hacker News 上的讨论聚焦于一篇论文。该论文让大型语言模型（LLM）将上下文视为可编辑的文件，并学习随着时间推移应保留、删除或总结哪些信息。 主要担忧在于 KV 缓存的效率。当较早的上下文发生变化时，传统的前缀缓存就会失效，因此不受限制地编辑上下文会产生高昂成本，尤其是在使用标准 API 时。据称，研究人员部分通过模型侧的缓存处理来解决这一问题，但评论者正在讨论复用过期缓存状态可能带来的影响。RoPE 位置编码会使任意插入和删除内容变得更加复杂，而不稳定的缓存内容可能只会对模型产生细微的引导或干扰，不一定会导致明显的失败。 人们提出的替代方案包括专门的上下文管理模型、固定的摘要区域、外部日志和文件系统产物、检索系统，以及“将上下文视为数据库”的设计。这些方案会带来额外的成本、复杂性或注意力开销。 一些怀疑者认为，这项工作只是给已有的智能体记忆或上下文压缩技术换上了更新的术语。另一些人则认为，将上下文管理与缓存感知推理结合起来学习，可能代表着一项有意义的架构进展。最终，它是否真正具有创新性，将取决于基准测试结果和服务效率。