```
```
直接用 AdamW 微调 bf16 权重且无 fp32 主副本,会使优化变得稀疏:微小更新会被舍入掉,只有幅度低于某个阈值(约学习率的 512 倍)的权重才能改变。权重衰减和 Adam 的二阶矩也会失效。在 Quiet-STaR 中,Mistral-7B 只有约 5.6% 的权重发生变化;大权重保持冻结。发布的 bf16 配方提升了基准表现,而使用 fp32 主副本或精确梯度校正的版本则发散或崩溃,说明该配方依赖这个舍入 bug 来获得稳定性。正确的优化器需要 3–10 倍更小的学习率,到第 100 步仍未能追上 bf16。这种意外的稀疏掩码类似于 PaFi/NanoAdam 等方法:更新小权重可以稳定微调,但小权重与随机权重的选择会在基准收益与困惑度损伤之间权衡。实践中,应测量权重变化的比例;不要在正确栈上复用 bf16 学习率;优先使用 fp32 主权重,若必须使用 bf16 则采用随机舍入。舍入不仅是数值噪声——它可能定义训练方法。
启用 JavaScript 和 Cookie 以继续
请启用JavaScript和Cookie以继续
Google 正从 Chrome 移除 XSLT 支持,打破了 Web 长期的向后兼容性规范。作为回应,一位作者创建了 XSLT.RIP,一个使用 XSLT 构建的网站,以突显此次弃用;支持移除后(大约在 2026 年 11 月 17 日),它可能无法正确显示。作者批评基于 Chromium 的浏览器注入警告横幅,将责任归咎于网站维护者,而非承认 Google 的责任。文章认为这种做法傲慢且具有侵入性,Google 应该承担破坏现有网站的后果。
Gauge 是一个开源 CLI,通过运行真实 agent 与产品交互、捕捉摩擦并发布前测试修复,来改进编码代理使用产品的方式。它支持使用 Docker 和现有 agent 凭证的本地循环,且无需账号;托管模式还提供托管计算、共享结果和积分。用户可以定义任务/评测或偏好研究,运行 Claude Code、Codex、Pi、OpenCode 等 agent,然后分析转录和发现,以识别阻塞问题、弃用用法、未使用的 skills 或工作流混淆。修复可通过针对工作树变更或预发布制品重跑用例进行验证。它支持 Skills、CLI、SDK、文件和文档(托管),并可选提供团队/CI 共享的 Markdown 用例。CLI 包含说明、JSON 输出、运行时检查、遥测退出选项,以及 init、run、compare、auth 和托管引导等命令。它采用 MIT 许可证。
“成功的人创办公司,更成功的人建立国家,最成功的人创立宗教。”我听齐鲁说过这句话;我不确定出处。不过这让我想到——最成功的企业家并不是为了创办公司而起步的。他们致力于创造某种更接近宗教的事物,而到了某个时刻,成立公司成了最简单的方式。大公司通常并非来自转型,我想这在很大程度上就是原因。
这篇文章认为,超我——我们内化的控制权威——通过内疚、羞耻和关于人性的固定观念来压制好奇心。精神分析传统在是否需要这种控制上存在分歧,但理想主义者与现实主义者都认为我们被本能过度控制并受其恐吓。作者将好奇心重新界定为一种有风险、开放式的特质,是确定性、谦逊和自以为知的解毒剂。它暴露了依赖与脆弱,这使其令人恐惧,并常被委托给他人。弗洛伊德的自由联想是好奇心的例证:不加审查地说话会揭示被遗忘的材料,尽管好奇心在道德上具有模糊性,且不总是有益的。最终,这篇文章追问社会认可或禁止哪些好奇心,暗示放弃无懈可击的状态并追随好奇心——如同精神分析——能够扩展自我知识与自由。
昨天的选举显示公众强烈反对AI数据中心:近50项投票提案试图限制建设,反对数据中心的立场获胜。民调和投票表明,美国人普遍不喜欢AI,而非仅是数据中心。作者认为,采用率和利润不能为危害或利益集中辩解,尤其是考虑到该行业对就业的威胁、惊人的言论、法律丑闻以及领导人对特朗普的拥抱。尽管AI令人印象深刻,但它正在让包括其支持者在内的所有人感到痛苦。作者敦促AI从业者要求雇主采取更好的方向,而不仅仅是签署公开信,并呼吁集体行动重塑科技行业的公众形象,为该领域做出积极的、民粹主义的辩护。
DOOM 1997 源代码的四十三个后代通过代码形态而非文本进行分析。去除名称和注释后,比较了函数长度、分支、输入和调用关系。这种形态如同指纹:C 语言的复制和移植揭示了血统,而无关的 C 程序(Quake、Quake II、Lua)最多共享 DOOM 形态的 0.6%。Chocolate Doom 保留了 87% 的函数名,但只有 35% 的代码未更改。仅基于形态的相似查找器识别了 93% 的真实副本,以及约三分之二由文本找到的副本。在盲测中,来自 Go 翻译的函数以 60% 的准确率被分入 DOOM 的 16 个子系统,而猜测为 20%。连接图显示 Scheme 和 Go 像 C 副本一样在偶然之上保留了 DOOM 的设计,而 Fortran、Java、Kotlin 和 C# 没有。微小函数和大量重组解释了部分表面损失。结果通过源文本、打乱控制、无关程序和独立工具验证。该研究追踪血统和存续设计,而非运行时行为。