标准缩放定律(Scaling laws)以“模型算力(FLOPs)”为优化目标,但集群的计费单位却是 GPU 小时。一篇新论文提出了 **MOSAIC** 框架,旨在将系统工程融入缩放定律阶段,以弥补这一差距。
其核心观点是:**计算最优并不等于集群最优**。传统的缩放定律将模型算力利用率(MFU)视为常数,但实际上,MFU 在很大程度上取决于模型架构和并行布局。以混合专家(MoE)模型为例,激进的稀疏性设计在算力层面往往看似最优,但由于通信开销和 MFU 较低,在实际硬件上的表现却不尽如人意。
MOSAIC 将模型设计视为一个双层优化问题:
1. **外层循环**:在架构网格中最小化预测损失。
2. **内层循环**:在特定硬件约束下,针对每种架构最大化“可交付算力(MFU)”。
通过结合现实世界的性能模型,MOSAIC 能够识别出标准定律所忽略的内部最优解,证明了高效的模型设计需要同时对架构和系统布局进行协同优化。归根结底,最好的模型不是算力最高的模型,而是最能将集群性能转化为实际训练进展的模型。
SparrowMap 是一个以隐私为核心、由志愿者驱动的项目,旨在追踪公共道路上的政府车辆。用户只需利用闲置的智能手机、笔记本电脑或摄像头,即可监控交通情况,从而记录政府的公开活动。
该系统通过本地处理确保安全性:所有视频分析均直接在用户的设备上完成。当车辆经过时,软件会即时区分政府车辆与私人车辆。政府车辆的车牌数据和照片会被上传至公开地图,而所有其他数据在信息传输前即在设备上被永久销毁。由于视频流不会离开本地硬件,因此不存在被拦截的风险,从而确保了参与者的匿名性。
该平台无需注册账号、安装应用程序或进行复杂设置。用户只需运行基于浏览器的检测器或简单的命令行脚本,即可为实时地图做出贡献。通过将数据处理保留在本地并在源头删除私人信息,SparrowMap 在保护普通公民隐私的同时,为追踪公共资产提供了一种透明且可问责的方式。