**Swiftlet** 是一款开创性的 Swift 和 Metal 运行时,支持在 Apple Silicon 设备(包括 iPhone)上原生运行高参数 Qwen MoE 模型(35B 和 80B)。通过仅将少量密集核心常驻内存,并按需从存储中流式传输混合专家(MoE)权重,Swiftlet 使得这些强大的模型能够在极其有限的内存(低至 2.5 GB)下运行。
核心功能包括:
* **高效架构:** 使用 Gated DeltaNet 线性注意力机制以避免 KV 缓存无限增长,并将专家权重重打包为 `.qpack` 容器,以实现高效、高速的磁盘读取。
* **性能表现:** 激活参数量保持在较低水平(每个 token 约 3B),在保持高效率的同时提供大模型的“推理”体验。
* **灵活性:** 以库、CLI 工具和兼容 OpenAI 的服务器形式分发。它同时也是 iOS 开源应用“Priv AI”的驱动核心。
* **兼容性:** 完全采用 Swift/Metal 构建,通过在运行时编译着色器,避免了复杂的工具链要求。
Swiftlet 是开源项目(采用 Apache 2.0 协议),已完全通过 MLX 参考验证,专为希望在 macOS 和 iOS 应用中集成高性能端侧 AI 且无需依赖服务器的开发者而设计。