## Muon 优化器:机器学习的快速极因子计算 Muon 优化器在机器学习中表现出色,能够高效地近似计算矩阵的极因子——一项关键运算,类似于 signSGD 或 Lion。它的目标是计算 **polar(G) = G(GᵀG)⁻¹/²**,适用于高矩阵 G,重点在于速度、数值稳定性(尤其是在 bf16 中)以及在线精度验证。 Muon 通过避免直接 SVD 计算来实现这一点,而是使用仅包含矩形矩阵乘法(GEMM)和较小正方矩阵运算的迭代方式来细化近似值。其核心思想是计算 Gram 矩阵 (GᵀG) 的逆平方根,然后乘以 G。 主要特性包括:一种**Gram 侧逆平方根**方法,利用** minimax 多项式**进行高效迭代,以及基于 Gram 残差的**在线证书**来验证结果的准确性。Jacobi 缩放用于改善谱条件,且不引入偏差。通过对称化、岭回归和重启块来增强稳定性,这些技术借鉴自 Polar Express。 预计算的多项式系数允许根据当前残差进行快速在线选择,在积极迭代和受控收敛之间取得平衡,这对于低精度算术尤其重要。这种方法提供了一种快速、稳定且可认证的近似,适用于大规模机器学习应用。
第二卷:帝国的引擎 跳至主要内容 吕底亚石系列 菜单 ← 上一期 在这里阅读 下一期 → 在第二期《帝国的引擎》中,马库斯和他的主人盖乌斯在庞贝城毁灭后面临灾难。 大部分羊毛工人死亡或受伤,羊毛在仓库里腐烂,整个坎帕尼亚地区正滑向毁灭和饥荒。 为了寻找解决方案,马库斯向尤利西斯求助。 他们使用新的设计建造第一批机器,让幸存者比以往任何时候都更快地工作。 他们拯救了社区,但新产业的巨大规模创造了旧世界无法承受的过剩。 如果您愿意,我可以通知您新一期何时发布。 就这样。没有新闻通讯。
## TechCrunch 的 Extra Crunch Daily - 摘要
本期 TechCrunch 的 *Extra Crunch Daily* 探讨了两个关键话题:初创公司的 SEC 文件申报和软银即将进行的电信 IPO。作者调查了为什么初创公司越来越多地*不*向 SEC 提交 Form D 表格——在融资时需要提交的简单且免费的文件——尽管不合规会受到法律处罚。他们的工作假设,并得到业内专业人士的见解支持,是公司避免披露是为了规避来自员工、监管机构、竞争对手,甚至更喜欢控制叙事的投资者的审查。原因包括内部薪酬问题、安全风险以及避免对平价或下轮融资产生负面看法。
该通讯还深入探讨了软银电信部门复杂的 IPO 流程,预计将是一次数十亿美元的上市。该流程非常规,涉及规避现有债券契约,并据报道向承销银行申请大量贷款,以 Vision Fund 的持仓作为抵押品——这一举动引起了一些贷款人(如美国银行)的担忧。
作者正在征求初创公司律师对 Form D 趋势的意见,并欢迎对这两个话题的反馈。
## IPv4 耗尽的迷思与日益严重的问题
广为人知的“IPv4 耗尽”并非技术上的短缺,而是一种市场扭曲。虽然区域互联网注册管理机构 (RIR) 已分配完新的地址,但现有 IP 地址被公司和投机者囤积,从而形成了一个转租经济。这使得任何人都可以租用 IP 地址,绕过最初 RIR 系统中建立的问责机制。
与可追溯的分配流程不同,租户可以选择任意地理位置,清除 IP 的不良声誉(如垃圾邮件黑名单),甚至使用白标地址匿名运营。主要的 VPN 和代理提供商严重依赖这种基础设施,从而实现诸如规避地理限制和掩盖流量来源等服务。
这并非非法行为,但游走在灰色地带,破坏了互联网信任。主要问题包括不可靠的地理位置数据(可通过地理信息源和 WHOIS 记录轻松操纵)、租用“住宅”IP 地址以掩盖恶意活动的能力,以及创建不可追溯的地址空间。LogicWeb、IPXO 和 Heficed 等公司促进了这一点,提供的服务积极破坏安全措施,并使准确的网络归因变得越来越困难。
最终,该系统通过允许操纵用于信任和问责制的核心数据,损害了垃圾邮件过滤、欺诈检测和整体互联网安全。
这个项目精心复原了苹果经典HyperCard软件中的剪贴画,HyperCard是一个开创性的超媒体系统,对Web的发展产生了深远影响。作者费力地从“Art Bits”素材集中提取了超过700张单独的图像——这是HyperCard附带的示例合集,展示了苹果即使在双色调限制下的设计能力。
这些图形现在以优化后的PNG文件形式提供,总大小不到300kb,并被分为野兽、建筑物、通信、自然等部分。这个合集提供了对早期Macintosh设计的怀旧一瞥,并为复古美学或创意项目提供了一个独特的资源。它证明了HyperCard的持久吸引力,也是其视觉元素的迷人数字档案。
虽然大量的图像可能会导致加载时间变慢,但作者致力于保护这部分计算历史的决心显而易见。