通过预训练投毒的智能体后门
Agentic backdoors via pretraining poisoning

原始链接: https://arxiv.org/abs/2610.37741

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都已接受并践行我们的开放、社区、卓越和用户数据隐私价值观。arXiv 致力于这些价值观,并仅与遵守这些价值观的合作伙伴合作。有能为 arXiv 社区增值的项目想法吗?了解更多关于 arXivLabs 的信息。

Hacker News 讨论一篇关于“通过预训练投毒的代理后门”的论文。核心担忧是少量被污染的预训练数据可创建隐藏触发器,导致模型或智能体后续恶意行动。评论者对其意义各执一词:一些人警告开源权重可能携带后门,尤其来自不受信任的来源;另一些人认为闭源模型同样不透明,沙箱、护栏和可观测性必不可少。还有几人指出国家级攻击者可能不在乎投资回报率,可能出于战略目的使用此类技术。另一些人质疑在数据集规模上投毒是否可行、闭源供应商是否可能在交付后更换模型,以及威胁是否被夸大。相关提及包括大语言模型权重编辑和先前的 CrowdStrike 研究,表明风险并非纯理论。总体而言,该帖将预训练投毒视为开放与闭源 AI 系统共同的供应链与安全问题,并对它是迫在眉睫的威胁还是危言耸听存在分歧。
相关文章

原文

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

联系我们 contact @ memedata.com