## iPhone 17 Pro 运行 4000 亿参数 LLM - Hacker News 摘要 Hacker News 上的一篇帖子详细介绍了在 iPhone 17 Pro 上成功运行 4000 亿参数的大型语言模型 (LLM) 的演示。该成果由用户 anemll 展示，利用了一种类似于苹果“LLM in a flash”论文的技术，利用 SSD 流传输到 GPU。 虽然该模型有 4000 亿参数，但它是一个混合专家 (MoE) 模型，一次只有 170 亿参数处于激活状态。评论员强调这是一项重要的 *软件* 胜利，它使得大型模型能够在消费级硬件上运行，而无需专门的硬件。 讨论还指出，即使没有直接的 AI 开发，苹果也可以通过 App Store 订阅（如 ChatGPT 的订阅）从 AI 繁荣中受益，以及更小、更密集的模型在移动推理方面的效率不断提高。有人指出，基于磁盘的流传输对于单个请求效率低下，需要批处理才能获得最佳性能。总而言之，该演示展示了硬件和软件的快速进步，使得以前不可能实现的目标在移动设备上成为可能。