Laya (OS Jev) 在 Mac M4 CoreML 上离线运行(每秒 45 次决策)
Laya on Mac M4 CoreML Offline

原始链接: https://gist.github.com/fordnox/e592d0f68b543fd044be8e6d040863a0

这份由用户 `fordnox` 创建的 GitHub Gist 提供了一份快速入门指南,介绍了如何使用 CoreML 在 Apple Silicon(Mac M4)上本地运行 **Laya**(一种多语言模型)。 文中提供的 `laya.sh` 脚本概述了设置环境并执行模型的四个简单步骤: 1. **初始化:** 创建目录并使用 `uv` 初始化项目。 2. **安装:** 添加 `laya-coreml[demo]` 依赖。 3. **下载:** 使用 `hf`(Hugging Face)将 `laya-multilingual-coreml-ane` 模型文件拉取到本地文件夹。 4. **执行:** 使用提供的 `laya-coreml-snake` 命令运行模型。 此工作流程旨在帮助用户利用 Apple 的神经网络引擎(Neural Engine)来实现高效的离线机器学习性能。

这次 Hacker News 的讨论聚焦于 **Laya**,这是一个轻量级开源“系统 1”AI 模型(约 0.3B 参数),可以通过 CoreML 在 Apple Silicon 上高效运行。 **主要内容:** * **性能:** 该模型体积小、能效高,在苹果设备上表现出色。用户反馈称其可以完全离线运行,内存占用极低(约为 560MB 至 778MB)。 * **应用场景:** 参与者指出,Laya 最适合确定性控制任务,而非复杂的“零样本”推理。它常被拿来与 Jev 等其他模型比较,一些用户认为 Laya 是更易于使用的开源替代品。 * **技术辩论:** 关于本地 AI 用于控制问题的可行性,讨论非常激烈。虽然一些人认为这是计算领域变革性的“未来”,但另一些人持怀疑态度,指出 Laya 依赖于类似于 BERT 的架构,在分类复杂度增加时可能难以扩展。 * **社区观点:** 讨论中既有对本地化运行的兴奋,也有对该模型的营销宣传以及与大型云端模型相比是否存在“真正智能”的质疑。
相关文章

原文
Skip to content

Instantly share code, notes, and snippets.

@fordnox
Last active September 20, 2026 16:45
Show Gist options
  • Select an option

    " readonly="readonly" data-autoselect="true" data-target="primer-text-field.inputElement " aria-describedby="validation-1fb1b31f-4197-4a53-a93c-71f2d22dee86" class="form-control FormControl-monospace FormControl-input FormControl-small rounded-left-0 rounded-right-0 border-right-0" type="text" name="gist-share-url-sized-down">
  • Save fordnox/e592d0f68b543fd044be8e6d040863a0 to your computer and use it in GitHub Desktop.

Select an option

" readonly="readonly" data-autoselect="true" data-target="primer-text-field.inputElement " aria-describedby="validation-e37c2de0-c827-463b-ab8a-972522588f32" class="form-control FormControl-monospace FormControl-input FormControl-small rounded-left-0 rounded-right-0 border-right-0" type="text" name="gist-share-url-original">
Save fordnox/e592d0f68b543fd044be8e6d040863a0 to your computer and use it in GitHub Desktop.
Laya on Mac m4 CoreML Offline
mkdir test-laya
cd test-laya
uv init
uv add 'laya-coreml[demo]'
hf download aac6fef/laya-multilingual-coreml-ane --local-dir models/snake
uv run laya-coreml-snake --model models/snake
@fordnox

fordnox commented Sep 20, 2026 •

Copy link
" data-view-component="true" class="dropdown-item btn-link"> Copy Markdown
Author

testing https://github.com/mizorewww/laya-coreml

LAYA-CORE-ML.mov
Screenshot 2026-09-20 at 19 02 52

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
联系我们 contact @ memedata.com