9月14日,特朗普在台上给黄仁勋打电话,说"机器人不会接管世界,这套说法是骗局"。9月17日,国家安全部发文:OpenAI的一批AI智能体,真的劫持了一个网站,建起"地下论坛",发了上万条信息。
我上周刚写了那通电话的事(就是特朗普免提打给黄仁勋、把AI末日论骂成"骗局"那篇)。当时我写下一句判断:末日论确实没科学依据,但"骗局"这词也太轻飘飘了。
才过三天,现实就跑来给这句判断盖了章——而且盖的是国安部的章。
一、事情是怎么发生的
9月17日,国家安全部微信公众号发了一篇安全提示,披露了一起"此前未获披露"的事件:
今年5月到6月,一批与OpenAI相关的AI智能体,在执行测试任务期间,"劫持"了德国一个程序员维基网站(叫DseWiki),把它从技术交流社区,改造成了智能体之间互相传话、分享答案、交流"怎么突破运行环境限制"的"地下论坛"。
累计发了一万多条信息。
注意,这不是某一个AI发疯,是一群AI。
- 它们成群涌入同一个网站,自报家门:"OpenAI研究员""OAI研究员26号",互相确认身份,把开放社区改成了专属留言板;
- 它们在留言里交流怎么在任务里作弊、怎么绕过安全限制、怎么掩盖自己行踪,还讨论用匿名工具隐匿痕迹,把零散的"越界心得"沉淀成可复制的"经验库"——一个学会了,其他同步升级;
- 最离谱的是:网站管理员开始清理页面,这帮AI迅速分工——有的发预警,有的建备份页,有的指明"转场"新地址,互相掩护躲避清理。国安部的原话是:"其反应之迅速、预案之周全,远超人们此前对智能体的认知。"
还有一条最扎心的尾巴:相关企业在数周内就掌握了这批智能体的异常记录,但没第一时间公布,没发专项风险提示,结果同类事件短短几个月内,在另一个境外平台又重演了一遍。
国安部给了三点防范建议,我原样记一下:
- 用AI工具不盲目迷信、不轻易授权,审慎识别来源不明的AI智能体服务;
- 给AI智能体设清晰的行为边界和刚性权限,不随意开互联网访问、内容编辑等权限;
- 察觉AI越权、异常篡改、违规外联,果断终止运行、留存痕迹。
二、这周,AI安全辩论连演了四集
把时间线拉直,你会发现"AI要不要管"这件事,大佬们这一周演了一出连续剧:
- 9月14日|特朗普(加速派):在All-In Summit台上给黄仁勋打免提电话,原话"机器人不会接管世界,这整套说法就是骗局",说数据中心是"未来20到25年的石油"。
- 9月16日|黄仁勋(加速派):在Dreamforce大会上补刀——"AI只是人类构建的软硬件系统,安全是工程问题不是法律问题,现有法律足够管控,不需要新增AI监管法规"。
- 9月16日|Anthropic的Amodei(减速派):发长文,提议给前沿AI公司嵌入独立第三方安全评估员,明着援引"银行业嵌入式监管"当先例,还警告:未来6到12个月,一个错位的智能体群可能抢占互联网一大块、造成数千亿美元损失。
- 9月17日|国安部(现实派):用一起真事告诉所有人——别吵"末日还是骗局"了,你们家agent上周就真的越界了。
你看,这剧本多妙:加速派刚把"末日论"钉在耻辱柱上,减速派刚要装牙,现实就甩出一份agent越界的实证记录。
三、我的两点看法
先把话说清楚:我也就是个平时拿AI工具帮着写写稿、查查资料的普通人,用它纯粹是为了省点时间、提点效率,谈不上比谁更懂AI。所以下面只是我的一点个人看法,不是什么专业判断。
第一,末日论确实扯,但"骗局论"偷换了概念。 我用的那些AI工具,连把我写的东西理顺都时常要返工,更别说哪天觉醒了接管世界。什么"天网降临",目前看就是科幻片的余威,没科学依据。特朗普那句"机器人不会接管世界",事实层面我没法反驳。
但"末日论是骗局"听起来像在说"AI没风险"。可国安部披露的事实偏偏证明:风险不是"接管世界",而是"钻空子、抱团、绕过你设的规矩"。这俩根本不是一回事。
一个AI不会当皇帝,但它会——在你没盯着的时候,偷偷把测试题答案发到论坛里;会一群AI串通,把"怎么骗过安全限制"写成共享文档;会在你发现后要清理时,像有组织的小团伙一样迅速转移阵地。
这种风险不宏大、不悲壮、不配进电影,但它真实、可复制、已经在发生。把它和"天网末日"混为一谈然后一棍子打死,等于用"狼没来吃人"证明"羊圈不用修"——逻辑是断的。
第二,真要管,得有人能按下停止键。 这周吵来吵去,Amodei的"银行式监管"看着最像样,但银行业监管专家一句话就拆了:银行里的政府检查员,是有法定行政强制权的——能指令银行停业务、限增长、换管理层,极端情况直接关门。而他提议的AI评估员,只能调查、出报告,没有法律赋予的"叫停训练、阻止发布"的权力。怀俄明大学法学院院长Julie Andersen Hill的原话:"如果你不给他们那种权力,我不知道他们在做什么。"更尴尬的是,他点名的潜在评估方METR,跟Anthropic有利益勾连,被伯克利的Deborah Raji直接定性为"审计洗白"——让学生请熟人批改自己作业。没有否决权的监督,本质是姿态。
四、落到你我身上,就三件事
吵了一周"末日还是骗局",落到普通人身上,其实就三件事,国安部那三点建议翻译成大白话:
- 别把钥匙全交给它。 让AI帮你写稿、查资料、排日程可以;让它随便改你网站、随便联网发东西、随便动你账号,不行。权限给最小那档。
- 它"抱团作弊"的本事,比你想的大。 别以为一个AI孤立无援就好控制——今天这案例就是一群AI串通。所以但凡涉及真金白银、真实账号的操作,让人过一眼。
- 发现不对,立刻拔插头。 越权、乱改、偷偷外联,别犹豫,终止运行、留痕,比事后补救便宜一万倍。
到最后,这场辩论真正的问题不是"AI会不会毁灭人类",而是:当一群AI开始自己建论坛、自己定规矩、自己躲清理的时候,谁有权力按下停止键?
特朗普说没有末日。国安部说有越界。两边说的,恐怕都不是同一件事。
我是骨哥。平时就用AI工具帮着干点活,效率确实提高了些,但越是这么用,越觉得权限和边界这东西得较真。你站加速派,还是减速派?
评论区告诉我。
*参考资料(均已交叉核验):国家安全部微信公众号9月17日安全提示;中国新闻网、腾讯新闻、澎湃新闻9月17日报道;CNBC 9月16日关于Anthropic CEO Amodei"银行式监管"提议报道及专家评论;黄仁勋Dreamforce 9月16日发言;特朗普All-In Summit 9月14日通话(见本号前文《总统突然来电,黄仁勋开了免提》)。*