一个 190 行纯 JAX 实现的 DeepSeek-V3,使用公有领域侦探小说在 MacBook Air 上从头训练。它包含多头潜在注意力(每 token 缓存一个小潜在向量)、解耦 RoPE、DeepSeekMoE(一个共享加 16 个路由专家,top-4)、无辅助损失的偏置均衡、序列级均衡损失,以及多 token 预测。训练使用 bf16 计算和 f32 主权重,并进行 prefill-and-decode MLA 缓存。
默认运行有 36.2M 参数(每 token 13.6M 激活),在 21.7M token 上训练 12,000 步,约 2.6 小时,约 10.7k token/s,验证损失达到 3.51。使用偏置均衡时专家负载保持均衡(5.7–6.9% 对比 6.25% 理想值),且均衡不会损害验证损失。检查点可从 "The fog came in off the." 这类提示生成连贯续写。
该项目是一个可读的架构演示,而非强语言模型:稠密 MoE 计算,无权重吸收,无 FP8/DualPipe/YaRN,规模很小(6 层,256 token 上下文)。它附带测试、数据准备、训练、采样和绘图脚本,以及已发布的检查点和数据集以供复现。需要 Apple Silicon Mac、Python 3.12 和 uv。
PyPI 已完成 UI 更新,使软件包安全信号更清晰。新的“安全”选项卡显示发布溯源状态和每个文件的证明,区分完整溯源与无溯源,并对不完整、不一致、已更改或丢失的溯源发出警告。这些警告在项目页面上显著显示,侧边栏显示溯源状态,元数据按实用性重新组织。发布文件选项卡现在支持搜索和筛选,显示每个文件的溯源,并标记延迟上传;发布历史新增文件数量、溯源状态和状态详情。文档已扩展,帮助用户评估软件包安全性。该工作由 OpenSSF 资助,并由 Kabu Creative 实施,为 PyPI 提供了未来证明类型和安全通知的专用位置。