Show HN：Llmspeed — 在购买硬件前感受本地 LLM 的运行速度

Show HN：Llmspeed — 在购买硬件前感受本地 LLM 的运行速度
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware

llmspeed — 购买前感受本地 LLM 速度按硬件浏览按模型浏览 ⚡ llmspeed — 在购买硬件前感受本地 LLM 运行有多快。此模拟器需要 JavaScript；代码与数据位于 github.com/nicorobinreal/llmspeed。

这个帖子讨论 Llmspeed，一个在选定硬件上模拟本地 LLM 速度的工具。用户认为它有助于在购买设备前估算性能，但对其准确性存在争议：报告的基准可能偏乐观，并省略了真实世界的因素，如运行框架、上下文大小、量化、KV 缓存管理、推测解码和多 GPU 配置。评论者报告在普通或旧硬件上取得强结果，尤其是 MoE 模型和优化的推理引擎，而 dense 模型仍更慢、更耗资源。实用建议包括使用大上下文窗口、谨慎量化 KV 缓存，以及调优推理设置。用户请求支持更多模型、硬件组合和运行框架。总体而言，本地 LLM 性能正在快速提升，但真实可用性高度依赖模型架构、内存、上下文和软件优化。

llmspeed — feel local LLM speed before you buy

Browse by hardware

Browse by model

github.com/nicorobinreal/llmspeed

Show HN：Llmspeed — 在购买硬件前感受本地 LLM 的运行速度 Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware

Browse by hardware

Browse by model

Show HN：Llmspeed — 在购买硬件前感受本地 LLM 的运行速度
Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware