GRP-Obliteration: Unaligning LLMs with a Single Unlabeled Prompt

arXivLabs 是一个允许合作者直接在我们的网站上开发和共享 arXiv 新功能的框架。与 arXivLabs 合作的个人和组织都秉持并认可我们关于开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于坚守这些价值观，并仅与遵循这些价值观的合作伙伴合作。如果您有能为 arXiv 社区增加价值的项目构想，请了解更多关于 arXivLabs 的信息。

近期的一场 Hacker News 讨论探讨了一篇题为《GRP-Obliteration: Unaligning LLMs with a Single Unlabeled Prompt》（GRP-消除：用单个无标签提示词解除大语言模型对齐）的研究论文。该研究调查了一种通过单个无标签提示词移除开源大语言模型（LLM）安全对齐的方法。在该讨论帖中，用户们对该技术的本质及其有效性展开了辩论。一位评论者澄清道，该研究涉及使用特定的提示词进行微调，而非传统意义上的“越狱”攻击。参与者猜测该方法是否能成功绕过闭源、专有模型中强大的安全过滤机制。虽然一些人对在受限模型上测试此类提示词持谨慎态度，但另一些人指出，只要内容不违反明确的法律界限，实验此类提示词不太可能导致账号被封禁。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.