统一内存架构的迷你主机因优先考虑“容量”而非原始速度,已成为运行大型语言模型(LLM)的热门选择。与传统台式机因显存受限而存在性能上限不同,这些系统在 CPU、GPU 和 NPU 之间共享同一内存池。这使得相对平价的迷你主机能够加载庞大的模型(如 700 亿参数模型),而这些模型在过去通常需要昂贵的高端工作站显卡才能运行。 然而,这种容量优势是以性能大幅下降为代价的。LLM 的文本生成速度主要受限于内存带宽;由于迷你主机的带宽远低于独立显卡,其生成文本的速度就像“慢速阅读者”一样。此外,计算密集型的“预填充”阶段(读取长提示词)也是迷你主机中较弱的集成显卡难以应付的环节。 归根结底,这些机器不是追求速度的利器,而是解决容量问题的工具。它们非常适合那些需要运行大型、高内存占用模型,且模型无法在标准显卡上加载的用户。对于较小的模型或需要高速交互的任务,独立显卡依然是更好的选择。请根据模型规模而非营销参数来选择硬件。
在社交媒体往往充满敌意的部落主义氛围中,Robin Berjon 提出了一种技术桥梁,旨在统一两个强大的协议:ActivityPub (AP) 和 AT Protocol (ATProto)。
Berjon 认为,虽然两者都致力于打破社交媒体的壁垒,但它们解决的是不同的问题。ActivityPub 擅长社交网络,但与电子邮件类似,容易受到服务器管理员的控制。相反,ATProto 在用户自主权和“可信退出”方面提供了更优越的架构,允许用户拥有自己的数据,并在不同提供商之间迁移,而不会丢失身份或关注者。
作者提出了一个设计构想:在 ATProto 个人数据服务器 (PDS) 之上实现 ActivityPub 路由。通过利用 ActivityPub 中“Actor”文档指向 ATProto 端点的灵活性,用户既能享受 AP 去中心化和联邦化的覆盖范围,又能保留 ATProto 主权且可迁移的数据所有权。
尽管存在一些细微的技术障碍——例如协调 REST/RPC 方法以及统一身份/句柄系统——但 Berjon 认为这些是可以克服的实际挑战,而非决定性的阻碍。通过整合这些互补技术,我们可以构建一个比传统联邦和封闭平台壁垒更具韧性、以用户为中心的网络。
Haskell 的长期拥护者兼董事会成员 Avi Press 解释了为什么他的公司 Scarf 在新项目开发中放弃 Haskell,转而选择 Python。
在承认 Haskell 的可靠性和类型安全性的同时,Press 指出,人工智能驱动的开发浪潮已从根本上改变了编程的经济学。AI 代理依赖于快速反馈循环、低成本执行和低摩擦环境。Haskell 较长的构建时间、复杂的依赖管理以及较高的“冷启动”开销,造成了严重瓶颈,阻碍了 AI 辅助的工作流程。相比之下,Python 提供了有效利用现代大语言模型(LLM)所需的敏捷性,能够实现快速迭代和交付。
Press 警告说,如果 Haskell 社区继续侧重于学术研究(如依赖类型),而非构建性能和 AI 集成等工业需求,将面临停滞的风险。他敦促社区优先考虑“对代理友好”的工具(如更快的编译速度和更好的文档),以保持竞争力。最终,他认为如果 Haskell 不进化以适应 AI 驱动的范式,它将难以在快速发展的生态系统中竞争。对于 Scarf 而言,这一决定是对现代软件领域中生产力和速度紧迫需求的务实响应。