原文
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
（评论）
(comments)
原始链接: https://news.ycombinator.com/item?id=43464068
Hacker News 的讨论集中在两个新发布的开源中文模型：Qwen2.5-VL-32B 和 DeepSeek-v3-0324。Simonw 指出 32B 模型的能力，将其与 2023 年初 GPT-4 的性能进行比较，并强调其适合在单 GPU 或配置良好的笔记本电脑上运行。 讨论还涉及运行这些模型的实用性，用户讨论了量化以降低 VRAM 需求，以及在 4090 等 GPU 上运行不同模型大小的经验。有人担心可能会利用提示来训练 DeepSeek 的免费版本，并提及了 OpenRouter 和 Deep Infra 等替代服务。讨论还涉及多模态能力对文本性能的影响以及操纵未来模型迭代的“定向民调”（push polling）的可能性。最后，用户推荐了 open-webui，并讨论了适合在家用电脑上进行 RAG 任务的模型。
相关文章
reply