人工智能的恶意使用
The Malicious Use of Artificial Intelligence

原始链接: https://arxiv.org/abs/1802.07228

《人工智能的恶意使用:预测、预防与缓解》(Brundage 等人,2018/2024)全面分析了人工智能技术如何被滥用,从而在数字、物理和政治领域引发威胁。 该报告评估了不断演变的安全形势,并为人工智能研究人员和政策制定者提出了四项应对这些风险的高层建议。除了即时的缓解策略外,作者还确定了未来研究的关键领域,旨在加强防御能力,并增加实施恶意人工智能攻击的难度或成本。虽然该报告并未彻底解决攻击者与防御者之间的长期博弈,但它为理解人工智能相关的安全漏洞提供了基础框架,并促进了各方协作,以推动更安全的人工智能发展。

在一篇针对2018年论文《人工智能的恶意使用》的评论中,一位评论者指出,该论文提出的社会和政策性解决方案之所以失败,是因为它们将安全问题视为行为问题,而非架构问题。 作者主张,人工智能的发展跳过了定义了过往计算时代的必要“隔离”阶段,例如内存保护和沙盒技术。目前,我们依赖于模型对齐和提示工程,但这并不充分,因为现代人工智能的性能源于其运行环境——即“框架”、工具和数据,而不仅仅是模型权重。由于开源模型已经泄露并普及,试图对单个模型进行对齐是徒劳的。 相反,作者提倡一种结构性的转变:开发在封闭计算环境中运行的安全、声明式工作流。通过类比《蒙特利尔议定书》,作者认为,只有当一种在商业上得到验证、且性能优于现有危险模型的“安全”技术出现时,监管才具有可行性。作者目前正在 safebots.ai 开发这种替代方案。
相关文章

原文

View a PDF of the paper titled The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation, by Miles Brundage and 25 other authors

View PDF
Abstract:This report surveys the landscape of potential security threats from malicious uses of AI, and proposes ways to better forecast, prevent, and mitigate these threats. After analyzing the ways in which AI may influence the threat landscape in the digital, physical, and political domains, we make four high-level recommendations for AI researchers and other stakeholders. We also suggest several promising areas for further research that could expand the portfolio of defenses, or make attacks less effective or harder to execute. Finally, we discuss, but do not conclusively resolve, the long-term equilibrium of attackers and defenders.
From: Miles Brundage [view email]
[v1] Tue, 20 Feb 2018 18:07:50 UTC (1,400 KB)
[v2] Sun, 1 Dec 2024 17:59:04 UTC (1,400 KB)
联系我们 contact @ memedata.com