DeepX claims inference up to 100B parameters at less than 5 W

原始链接: https://www.eetimes.com/deepx-tapes-out-second-gen-chip-projects-6-7x-performance-gain-with-lpddr5x-pim/

Hacker News new | past | comments | ask | show | jobs | submit login DeepX 声称推理最高 100B 参数，功耗低于 5 W （eetimes.com） 21 点，由 giuliomagnifico 59 分钟前 | hide | past | favorite | 2 条评论 help augment_me 21 分钟前 | next [–] 文章的怪点： 1）性能数据是模拟的 2）细节说性能数据需要 2.7 倍总功耗，约 13.5 W。所有内存所需功耗未在数据中明确。 3）编译器也是模拟的，且为原型，因此不是 Nvidia ISAAC 等任何东西的直接替代。 4）5 W 似乎指低于 4B 参数的模型，而非 100B 参数的模型。 reply tensward 45 分钟前 | prev [–] 想知道体验如何，因为显示的细节对边缘设备使用似乎有点慢指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请 YC | 联系搜索：