展示 HN:零功耗光子语言模型——代码
Show HN: Zero-power photonic language model–code

原始链接: https://zenodo.org/records/17764289

Entropica 是第一个前向传播可以作为被动线性光学干涉仪实现的生成语言模型(推理过程中零电耗)。使用仅 Reck 方案 MZI 网格和 Born 规则读出,一个 1024 模式、32 层的酉网络可以在单个笔记本电脑 GPU 上在不到 1.8 小时内学习连贯的 TinyStories 风格生成。该模型已准备好通过打印相位掩码和 30 美元的激光笔演示完整的光学实现路径。所有代码、权重和数据集生成脚本都是公开的。

黑客新闻 新 | 过去 | 评论 | 提问 | 展示 | 招聘 | 提交 登录 展示HN:零功耗光子语言模型——代码 (zenodo.org) 4点 由 damir00 1小时前 | 隐藏 | 过去 | 收藏 | 1评论 该模型使用1024维复希尔伯特空间,具有32层可编程马赫-曾德尔网格(Reck架构),并通过玻恩规则直接推导出token概率。 尽管仅使用酉运算且没有注意力机制,但1024×32模型在单个消费级GPU上训练不到1.8小时后即可实现连贯的TinyStories生成。 这是第一部分 - 下一步是用来自速卖通的50美元光学器件进行物理实现。 tliltocatl 6分钟前 [–] 愚蠢的问题 - 鉴于每一层都会丢失信息,这怎么可能呢?如果没有某种放大器,如何实现非线性激活函数? 回复 指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请YC | 联系 搜索:
相关文章

原文

Entropica is the first generative language model whose forward pass is physically realizable as a passive linear-optical interferometer (zero electrical power during inference).  
A 1024-mode, 32-layer unitary network using only Reck-scheme MZI meshes and Born-rule readout learns coherent TinyStories-style generation in under 1.8 hours on a single laptop GPU.  
Model is ready for a full optical implementation path demonstrated with printed phase masks and a $30 laser pointer.  
All code, weights, and dataset generation scripts are public.

联系我们 contact @ memedata.com