来自 Redis 的创建者;使用 ds4 在本地运行大语言模型
From the creator of Redis; run LLM locally with ds4

原始链接: https://dwarfstar.sh/

DS4 · 本地前沿推理 DwarfStar 4 是一款面向高内存 Mac、CUDA 和 ROCm 机器的精简 C 推理引擎。它支持 DeepSeek V4 和 V4.1 Flash、GLM 5.x 以及 Qwen3.8 Flash Next,并在一个技术栈中集成文本与视觉模型、本地 API、CLI 和原生智能体。 支持:DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT 许可证 · C / METAL / CUDA / ROCM · QWEN 支持 64GB

The Hacker News 的讨论帖介绍了 **DwarfStar(ds4)**,这是 Redis 创始人 antirez 推出的全新本地大语言模型推理引擎。与 llama.cpp 或 Ollama 试图支持各种模型和配置不同,ds4 专注于少数经过精心优化的模型和硬件,尤其是高端 Apple Silicon 设备,同时支持 CUDA 和实验性的 ROCm。 用户称赞了它出色的性能、针对具体模型优化过的默认设置、SSD 流式加载、可重复使用的 KV 缓存、Agent 与工具调用支持,以及非常长的上下文窗口。社区成员分享了各种分支和实验项目,包括 **ds4go**、通过 **Xenolith** 支持 Intel 核显、类 OpenAI API,以及针对新硬件的兼容性补丁。有反馈称,它在配备 64~128GB 内存的 Mac 上表现极佳,不过运行最大的模型可能需要 96GB 或 128GB 内存。本地模型的整体能力仍不及领先的云端模型,用户对量化质量的看法也不尽相同。 讨论中的一条重要分支 debates 了 ds4 相较于通用推理运行器是否带来了实质性创新;结论是,它的优势在于“更好的默认设置”,而不是更广泛的兼容性。其炫目的落地页遭到广泛批评,被认为是粗制滥造的 AI 营销文案,相比之下,GitHub 页面更适合作为入门介绍。 其他人还讨论了项目中借助 AI 完成的 C 语言实现、Rust 的安全性权衡,以及对 antirez 设计理念和 Redis 历史更广泛的批评。
相关文章

原文

DS4 · LOCAL FRONTIER INFERENCE

DwarfStar 4 is a narrow C inference engine for high-memory Mac, CUDA and ROCm machines. It supports DeepSeek V4 and V4.1 Flash, GLM 5.x and Qwen3.8 Flash Next, with text and vision models, local APIs, a CLI and a native agent in one stack.

SUPPORTED: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT LICENSE · C / METAL / CUDA / ROCM · QWEN ON 64GB

联系我们 contact @ memedata.com