## 理解LLM提示词缓存 提示词缓存通过重用先前计算的数据,可以大幅降低LLM成本(高达10倍)和延迟(可能高达85%)。它*并非*仅仅是重新提供缓存的响应;相反,提供商存储来自处理输入提示的中间结果——具体来说是LLM的transformer架构中的“attention”机制期间生成的“K”和“V”矩阵。 LLM通过将文本转换为数字token,然后将这些token嵌入到表示其含义的高维空间中来工作。然后,transformer使用“attention”来衡量每个token相对于其他token的重要性。这个过程涉及大量的计算,而K和V矩阵代表了该计算的关键部分。 缓存这些矩阵允许后续使用相同(或相似)提示的请求跳过重新计算它们,从而显著加快处理速度。像OpenAI这样的提供商会自动管理缓存,而Anthropic则提供更多的控制权。重要的是,像温度这样的参数不会影响缓存的有效性,因为它们是在“attention”机制*之后*应用的。 最终,理解提示词缓存揭示了LLM运作方式以及如何优化其使用以实现成本和性能的更深层洞察。随着LLM越来越集成到各种应用程序中,这种知识至关重要。
## Rust 在 Linux 内核中:实验宣告成功
最近在 2025 年维护者峰会上确认,Rust 已成功集成到 Linux 内核中,最初作为一项实验引入。数百万设备现在已搭载使用 Rust 编写的内核代码,尤其是在 Android 16 中的 ashmem 模块。采用正在迅速增长——过去一年 Rust 代码量增加了五倍,Debian 现在已将其包含在内核构建中。
人们正在努力推进基于 GCC 的 Rust 编译 (gccrs),旨在进一步简化开发。内核计划跟踪与 Debian 稳定版本绑定的 Rust 版本,目前目标是 1.85。
开发人员一致认为,是时候取消“实验”标签了,理由是安全性提高以及新开发人员和维护人员的涌入。虽然对所有架构的支持尚未普及(s390 和 PowerPC 仍在进行中),但 x86、Arm 和 RISC-V 等核心架构都得到了良好支持。DRM 子系统甚至预计在一年内将要求新驱动程序使用 Rust。
Linus Torvalds 和 Greg Kroah-Hartman 倡导结束实验阶段,强调了编译器支持以及 Rust 代码中没有关键漏洞(CVE)。该项目的成功也激励了增加文档编写的努力。
Lite³ 是一种新颖的高性能二进制序列化格式,旨在消除传统的解析和序列化步骤。它将数据编码为单个连续内存缓冲区内的 B 树,从而实现对任何字段的零拷贝访问和对数时间(O(log n))的修改。本质上,它充当序列化的字典,模糊了内存和网络格式之间的界限。
与许多格式不同,Lite³ 无模式且自描述,提供 JSON 兼容性,方便调试并与现有系统集成。其极简的 C 语言实现(9.3kB)和缓存友好的 B 树结构提供了卓越的速度——性能甚至超过优化的 JSON 库高达 120 倍,并且优于仅模式格式(如 Flatbuffers)高达 242 倍。
Lite³ 优先考虑速度和灵活性,提供缓冲区 API(直接内存控制)和上下文 API(抽象内存管理)。它包括内置的安全措施,如边界检查和指针验证。Lite³ 采用 MIT 许可证发布,旨在成为各种应用场景下的快速、轻量级和通用的数据格式。
Synit 是一种实验,旨在将普遍反应性和对象能力应用于个人电脑(包括笔记本电脑、台式机和手机)的系统层。其架构遵循联合参与者模型原则。Synit 基于 Linux 内核构建,但替换了许多熟悉的 Linux 软件,包括 systemd、NetworkManager、D-Bus 等。它使用了 Linux 用户会熟悉许多概念,但也融入了从与 Linux 的 Unix 传统关系不密切的编程语言和操作系统中汲取的许多想法。如果您有一部能够运行 PostmarketOS 的手机或电脑,则可以安装该软件进行试用。您也可以在虚拟机中运行 Synit。请参阅安装说明以获取支持的设备列表。请参阅 Synit 手册。