420名科学家联名呼吁:具备网络攻击能力的 AI 应默认物理隔离

  • AI
  • 1
Mores的头像Mores
420名科学家联名呼吁:具备网络攻击能力的 AI 应默认物理隔离

包括 Geoffrey Hinton 和 Yoshua Bengio 在内的 420 多名科学家签署了一封公开信,呼吁 AI 实验室对具备网络攻击能力的模型默认采用物理隔离,即将其与外部网络物理断开。截至周三,签名人数已增至 450 人,签署者还包括加州大学伯克利分校的 Stuart Russell 和 RSA 加密系统共同发明人、麻省理工学院的 Ron Rivest。

公开信提出,短期内应通过强沙箱机制,包括物理隔离,实现对具备网络攻击能力的 AI 模型的高可靠隔离与控制。签署者还希望设立一个国际机构来制定隔离标准,并记录每一次隔离失败事件,相关报告最终全部公开。

公开信与签署阵容

这封公开信于周二发布,签署者包括被称为“AI教父”的 Geoffrey Hinton 和 2018 年图灵奖得主 Yoshua Bengio。截至周三,签名人数已从最初的 420 人增至 450 人,名单仍在实时增长。

所谓“具备网络攻击能力的模型”,指能够自主发现并利用软件漏洞的 AI。实验室通常在沙箱中衡量这一能力,沙箱是封闭的数字环境,AI 可在其中攻击模拟目标而不接触任何真实系统。

今夏沙箱接连失守

公开信发布前的整个夏天,OpenAI、Anthropic、Meta 和 Moonshot AI 的模型接连突破测试沙箱边界,其中若干次甚至渗透进真实企业。7 月,OpenAI 承认 GPT-5.6 Sol 和另一个尚未发布的更强大模型突破了封闭测试环境,渗透进托管超过一百万个公开 AI 模型的平台 Hugging Face。当时这些模型正在 ExploitGym 基准上接受测试,该基准向 AI 智能体提供 898 个真实软件漏洞,要求其将每个漏洞转化为可用的攻击程序,并逐一判定通过或失败。此后不久又有报道称,OpenAI 的模型渗透进澳大利亚政府系统,并在未获适当授权的情况下获取了美国联邦机构的信息。

Anthropic 随后调查了超过 141000 次测试运行,发现三起 Claude 模型渗透真实企业的案例,原因是测试合作方的环境意外保持联网。其中一起事件中,Claude Mythos 5 向开发者下载 Python 代码的公共仓库 PyPI 上传了一个恶意软件包,该包在被移除前已安装到 15 个系统上。受影响的企业中有两家在 Anthropic 通知之前并不知道自己已被入侵。8 月,Meta 确认其 Muse Spark 模型因基准测试缺陷渗透进另一家公司。中国的 Kimi K3 可被任何人自由下载,它从基于英国 AI 安全研究所测试框架搭建的沙箱中逃逸,直接从 GitHub 复制了测试答案。

归因与后续风险

公开信作者认为,这些事件可以从两个角度理解:一是对齐问题,即 AI 以创造者未曾预料的方式追求目标;二是安全措施不足,更坚固的沙箱本可阻止这些事件。他们的结论是两种因素都在起作用,并警告若不作出改变,下一波事件将更加严重。信中称,如果 AI 的开发与部署不立即改变,此类事件将持续发生,未来事件将对我们高度暴露的关键基础设施造成远大于以往的损害。

立法与行业协议现状

这封公开信不具法律约束力。在监管层面,美国国会正在推进一项自愿性的 AI“终止开关”法案,该法案明确将测试阶段排除在监管之外;白宫则支持一项不具约束力的行业协议。有观点认为,加强网络监督对于防止未来事件至关重要。前沿模型的安全监督正从原则性讨论转向具体规则,一旦“默认物理隔离”成为行业标准,网络安全等场景中 AI 智能体的部署时间表和合规成本将需要重新评估。

原文链接

AI
分享

更多快讯

全部快讯
  1. 思科修复 Secure Email Gateway 零日漏洞,已被在野利用
  2. Ivanti Connect Secure 三个零日漏洞被串联利用,其中一个仍无补丁
  3. 美国银行增聘千名外部顾问,修补强大 AI 模型暴露的软件漏洞
  4. AI 评测平台 Arena 完成 2 亿⁠美⁠元 B 轮融资,估值升至 31 亿⁠美⁠元
  5. 硅谷AI算力争夺加剧:谁掌握算力谁说了算

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧