Home
零对冲(ZeroHedge)
每日HackerNews
Show HN: Maple-Preview – ternary 20B MoE 在 iPhone 上以 120 tok/s 的速度运行
Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone
原始链接:
https://deepgrove.ai/maple-preview
请提供您需要翻译的内容。
Hacker News 社区正在讨论 **Maple-Preview** 的发布,这是一个三进制 20B 混合专家(MoE)模型,能够在 iPhone 上以每秒 120 个 token 的速度运行。 评论者对在移动设备上运行此类模型所取得的技术成就感到惊讶和兴奋。然而,早期反馈指出,与类似的此类模型一样,Maple-Preview 表现出明显的“幻觉”现象。用户指出,该模型集成的搜索工具可以通过提供外部背景信息来帮助缓解这些准确性问题。讨论还强调了对该模型快速搜索后端效率的关注。总体而言,这次发布被视为一项令人印象深刻的优化成果。
相关文章
原文
联系我们 contact @ memedata.com