立场:大语言模型无法“跳跃”
Position: LLMs Can't Jump

原始链接: https://openreview.net/challenge?redirect=%2Fforum%3Fid%3DklU4737opt

OpenReview.net 正在验证您的浏览器 请完成下方验证以继续访问 OpenReview 请完成上述验证。 已有 OpenReview 账号?请登录以跳过此验证。 OpenReview — 开放同行评审。开放出版。开放获取。

这篇 Hacker News 讨论聚焦于《LLMs Can’t Jump》一文,探讨了大语言模型(LLM)在直觉飞跃方面的局限性,特别是它们无法像人类在理论物理等领域进行创造性突破。 评论者们就创造性直觉是否需要“以感官体验为基础”展开了辩论,正如论文所暗示的那样。一些人认为,由于人类在数学等抽象领域也能产生直觉飞跃而无需物理基础,因此从理论上讲,大语言模型应该有能力发展出类似的高维内部表征。 讨论还涉及了验证这一点的挑战:批评者认为,大语言模型进行“自我提升”或实现真正突破的能力,目前受限于我们对其进行提示(prompting)的方式。提供过多的明确指令有“破坏”测试的风险,会将整个过程变成简单的执行,而非真正的创新。归根结底,该讨论串反映出一种怀疑态度:尽管当前的大语言模型表现流利,但它们缺乏超越训练数据以达到原创性“信仰之跃”洞察力的根本能力。
相关文章

原文

Verifying your browser

Complete the check below to continue to OpenReview

Please complete the verification above.

OpenReview — Open Peer Review. Open Publishing. Open Access.
联系我们 contact @ memedata.com