一场 Hacker News 的讨论围绕着 Taalas 公司，他们展示了针对大型语言模型 (LLM) 的优化推理能力——具体来说，是在定制 ASIC 硬件上运行的 3 位硬编码 Llama 3.1 8B 模型。 用户对这种优化印象深刻，但质疑当前实际应用，认为边缘 CNN 目前比边缘 LLM 更实用。讨论中提到了一些文章，详细介绍了 Taalas 实现“无处不在的 AI”的方法以及他们的推理 ASIC。 一个关键问题是：为什么所有在线 AI 引擎都没有使用这种硬件？ 答案是，这只是 Taalas 特定技术的演示，并非通用标准。 重点是在设备上直接实现高效的 LLM 性能，而不是依赖云端处理。