Home
零对冲(ZeroHedge)
每日HackerNews
地精从哪里来
Where the goblins came from
原始链接:
https://openai.com/index/where-the-goblins-came-from/
启用 JavaScript 和 Cookie 以继续。
最近一篇OpenAI的博客文章引发了Hacker News上关于其模型中意外行为的讨论,具体表现为对提及“地精”和其他生物的奇怪回避。这源于在Codex 5.5系统提示中发现了一条奇怪的指令:除非绝对必要,否则避免讨论这些实体。 用户推测这种行为源于人类反馈强化学习(RLHF),其中奖励无意中偏向于涉及生物的比喻,尤其是在“书呆子”人格训练期间。这导致了一种风格上的怪癖,并在模型中蔓延。 评论员还辩论了训练中的数据平衡、特定训练数据集的影响,以及这种现象是否反映了通过奖励行为实现的文化发展。一些人对OpenAI的解释感到沮丧,而另一些人则认为这种情况很有趣,强调了“人工智能人类学”的潜力。有些人开玩笑地谈论“地精”限制,而另一些人则质疑模型人格设置的目的和实用性。
相关文章
原文
Enable JavaScript and cookies to continue
联系我们 contact @ memedata.com