关于扩展的缓慢衰亡
On the slow death of scaling

原始链接: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5877662

启用 JavaScript 和 Cookie 以继续。

## AI 规模化发展的衰退 一篇近期发表的论文认为,当前人工智能的发展模式——无休止地扩大模型尺寸和计算量——正逐渐逼近极限,阻碍了开放研究并造成了“计算鸿沟”。其核心观点是,随着进展越来越依赖于大规模、高资本投入的训练,研究的可重复性降低,保密性增强,权力也集中在大型工业实验室手中。 讨论的中心在于,算法改进和效率提升是否能提供比单纯扩大规模更具成效的途径。一些评论员强调了开源人工智能的重要性,以对抗保密和资源浪费。围绕“涌现能力”的概念存在争论,一些人认为它们并非真正不可预测,而是模型参数定义的损失函数的结果。 许多参与者指出,规模化并非*失败*,但由于有限的资源(能源、数据、GPU)而变得越来越不切实际。另一些人建议需要转变关注点,从单纯追求更大的模型转向更高效的架构和数据利用。该论文还涉及规模化对学术研究的影响,认为它已被工业界的优势地位所边缘化。
相关文章

原文
联系我们 contact @ memedata.com