直接用 AdamW 微调 bf16 权重且无 fp32 主副本,会使优化变得稀疏:微小更新会被舍入掉,只有幅度低于某个阈值(约学习率的 512 倍)的权重才能改变。权重衰减和 Adam 的二阶矩也会失效。在 Quiet-STaR 中,Mistral-7B 只有约 5.6% 的权重发生变化;大权重保持冻结。发布的 bf16 配方提升了基准表现,而使用 fp32 主副本或精确梯度校正的版本则发散或崩溃,说明该配方依赖这个舍入 bug 来获得稳定性。正确的优化器需要 3–10 倍更小的学习率,到第 100 步仍未能追上 bf16。这种意外的稀疏掩码类似于 PaFi/NanoAdam 等方法:更新小权重可以稳定微调,但小权重与随机权重的选择会在基准收益与困惑度损伤之间权衡。实践中,应测量权重变化的比例;不要在正确栈上复用 bf16 学习率;优先使用 fp32 主权重,若必须使用 bf16 则采用随机舍入。舍入不仅是数值噪声——它可能定义训练方法。
昨天的选举显示公众强烈反对AI数据中心:近50项投票提案试图限制建设,反对数据中心的立场获胜。民调和投票表明,美国人普遍不喜欢AI,而非仅是数据中心。作者认为,采用率和利润不能为危害或利益集中辩解,尤其是考虑到该行业对就业的威胁、惊人的言论、法律丑闻以及领导人对特朗普的拥抱。尽管AI令人印象深刻,但它正在让包括其支持者在内的所有人感到痛苦。作者敦促AI从业者要求雇主采取更好的方向,而不仅仅是签署公开信,并呼吁集体行动重塑科技行业的公众形象,为该领域做出积极的、民粹主义的辩护。