## CDLM:加速扩散语言模型 扩散语言模型 (DLM) 相较于传统的自回归 (AR) 模型,具有潜在优势——即并行生成和双向上下文利用。然而,标准的 DLM 由于全双向注意力机制和对高质量输出所需的大量细化步骤而面临计算成本高昂的问题。 CDLM 通过一种后训练方法解决了这些问题。它训练一个“学生”DLM 来模仿“教师”DLM 的行为,重点关注token细化的*轨迹*。这包括一个分块的因果注意力掩码,可以对已完成的分块进行精确的 KV 缓存,以及一个三部分损失函数,促进知识蒸馏、一致性和通用的去噪能力。 结果是一个模型,所需的细化步骤显著减少——大约减少 4.1 倍到 7.7 倍,同时保持准确性。这转化为显著的延迟改进(最快可达 14.5 倍)和更高的吞吐量,尤其是在较小的批处理大小下,通过平衡计算和内存使用来实现。CDLM 是一种广泛适用的技术,旨在随着 DLM 基础模型的不断发展而提高效率。
## Minisforum MS-R1:成功的家庭实验室ARM服务器
作者终于实现了长期以来的目标:使用Minisforum MS-R1迷你电脑,为他们的家庭实验室打造一台合理强大且价格实惠的ARM服务器。MS-R1取代了耗电量大的塔式机,并为昂贵的基于Mac的Asahi配置或性能不足的ARM系统提供了有吸引力的替代方案。
最初尝试安装Rocky Linux时,由于未检测到板载网卡而受阻,需要使用可能不稳定的驱动程序进行变通。最终,尽管作者通常更喜欢基于RHEL的服务器发行版,但由于其原生驱动程序支持,选择了Fedora。
MS-R1运行安静,并且为虚拟机管理程序提供了足够的电力,目前运行FreeBSD虚拟机作为辅助Samba域控制器。尽管该机器并非完美无缺——有限的M.2插槽可用性和不可用的Marvell网卡被指出——但作者对此感到满意。他们赞赏更广泛的ARM生态系统的进步,认为MS-R1是他们家庭实验室中值得添加的一员,特别是考虑到它的价格(559美元)以及Mac Studio等替代方案的昂贵成本。尽管存在一些早期用户的不足,但MS-R1很好地完成了它的使命。