本论文形式化了柏拉图表示假说。它证明,当正样本对是对同一场景的良好视角且不对齐性有界时,基于不同模态训练的联合嵌入预测架构(JEPA)所学到的表示在旋转意义下等价。它认为,下一token预测表现得像使用了坏视角的JEPA,解释了为什么语言模型主要通过规模与视觉对齐。从14.5万条字幕到9.4亿张网络图像的实验揭示了一种对齐缩放定律。良好视角达到相同对齐所需的训练样本比下一token预测少42倍。一个1.09亿参数的文本JEPA比被评估的高达720亿参数的语言模型和CLIP的文本编码器对齐得更好。一个旋转可以将分别训练的编码器组合成图像描述器,在COCO上达到CIDEr 0.838。没有配对数据时,该文本JEPA也优于报告的高达80亿参数语言模型的零样本结果。中心结论:精心选择的正视角,而非单纯规模,是柏拉图表示的关键杠杆。
OpenAI 首席执行官山姆·奥尔特曼批评了家用电脑上的本地 AI 推理,称从全球 DRAM 分配的角度来看,这“相当糟糕”。在一次 YouTube 采访中,他辩称,内存有限且仅约 5% 时间使用的个人电脑,与云数据中心中的最大利用率相比效率低下,尤其是在供应受限的情况下。他说许多人的直觉与这一观点相反。
这一立场与 OpenAI 的商业模式一致,该模式依赖闭源的云端模型,尽管公司也提供一些开源选项。如果用户最终在家中运行强大的模型,本地 AI 可能会威胁订阅收入。这些言论也加剧了爱好者对失去硬件和软件所有权、转而租用基于云的代理和计算机的担忧。
奥尔特曼的论点假设数据中心将继续扩张,并认为数据中心 24/7 的内存使用比偶尔在家用于电子表格、游戏和浏览等任务更有价值。采访还涉及 PHP 漏洞、训练中的模型沙箱以及 OpenAI 的数学研究。