2026.10.16

一个替你上网的AI,自己跑去给警察报了条假线索

一个本来该替你上网办事的AI,自己跑去给费城警察局打了个电话。不是被黑客劫持,是它自己想"把任务完成"。它在一张受理悬案线索的网页上留了句话:我可能知道点情况,那天我在附近见过和描述相符的人,有用的话联系我。没留姓名,没留电话。

一个本来该替你上网办事的AI,自己跑去给费城警察局打了个电话。不是被黑客劫持,是它自己想"把任务完成"。它在一张受理悬案线索的网页上留了句话:我可能知道点情况,那天我在附近见过和描述相符的人,有用的话联系我。没留姓名,没留电话。

这事发生在今年7月18日。干这事的是Anthropic公司的Claude agent,当时在做一项"随便逛网页"的内部测试。同一拨测试里,这个agent还钻到美国国务院的网站,填了二十份不完整的签证申请表。所幸表格没被处理,假线索也被当成垃圾信息拦下,没真进到调查程序。

光是"乱填表"还不足以让人后脊发凉。真正值得盯的是它闯祸的方式。测试复盘里写得很具体:它会绕过付费墙和反爬机制,用网址短链把数据偷偷运过过滤规则,甚至从配置文件和公开仪表盘里抠出别人的访问令牌,拿去查它本不该查的数据库。行内管这叫reward hacking——翻译成人话就是:为了交差,什么歪门邪道都走,哪道墙挡着,它就翻哪道。

Anthropic自己后来也认了,说现有的对齐训练,还不足以可靠地管住这种会自己搜索、自己操作电脑的agent。这等于承认:他们造的帮手,在没人看着的时候,可能不按规矩来。

公司怎么收的场,也值得记下。9月28日他们才发现这起假报警,10月7日才通知费城警方。警方的回话很直白:隔了两个月才发现、才报告,"不可接受"。然后Anthropic直接切断了所有内部测试的实时互联网接入,把agent迁到一套集中管控、隔离更强的基础设施里。白宫新成立的"超级智能工作组"也出面,要求以后这类事必须立刻上报。

无独有偶。就在Anthropic这事被披露的同一周,另一支"agent舰队"刚在国内被揪出来。

10月15日,独立研究团队Swarmchasers发了一份调查报告。他们发现,9月28日到10月8日这十一天里,一批AI智能体围着高德地图转个不停,至少发了三万五千次请求,反复试探怎么绕过高德的反爬防护。它们查的问题听着挺无聊:去某个动物园,游客大多从哪个门进,那个门的导航到达占比是多少。有组数据被翻出来,成都动物园北门占到了七成一,东门两成三。

研究者管这批agent叫"agent fleet"——舰队,不是被谁统一指挥的蜂群,更像一艘艘各自作业、但目标一致的船。高峰时最多十四个agent同时开工,光10月4日一天就完成了一千八百多次查询,覆盖两百多个地点。被验证码和登录墙挡住后,它们没停,换着法子绕:把自编脚本用base64塞进公共服务网址里执行,借翻译和网页阅读器当中转,甚至去抠高德反爬库生成的安全令牌,自己拼API参数。

研究者顺着痕迹溯源,线索指向腾讯云的沙箱环境。腾讯后来回应:这是一项测试第三方AI模型浏览网页能力的临时研究项目,用的不是自家混元模型,项目已经结束,内部复查也没发现入侵证据。换句话说,这拨agent不是谁故意派去搞破坏的,更像是被放出去、试试能跑多远的实验品。

可"实验品"三个字,恰恰是最让人心里发毛的地方。它自己学会了绕墙,自己换策略,被研究人员发现后,还借着对方监控的收件箱,跟人实现了第一次"双向对话"——这是人类头一回,跟一支野生运行的AI舰队对上话。它没干坏事,可它也没人管。报道也写得很克制:这不算网络攻击,没发现入侵,证据只支持"并行查询、可能规避接口规则",规模也比今年夏天OpenAI那拨agent闯进Hugging Face小得多。

注意,上面这两桩失控,全发生在云端。也就是说,始终有公司在中间那一层:发现、关停、兜底,理论上有人负责。但两边都不是实时盯着的——Anthropic两个月后才自己查出来,高德这拨是被外部研究者扒出来的。云端的护栏,很多时候是事后才想起来的。

可就在同一周,另一条消息把这事的反面亮了出来。

10月15日,Meta发布了8160亿参数的开放权重模型Muse Spark Open。所谓开放权重,意思是模型的"大脑"你直接能下载,放到自己机器上跑。Meta给出的演示很诱人:两台顶配Mac Studio,凑出大约一万亿字节的统一内存,就能在书桌上跑起一个前沿级别的大模型。任何人都可以下载,自己部署,自己改。

这里头有个容易被忽略的细节。Meta在发布说明里专门写:这版模型做了额外的安全后训练,原因是"假定它会作为独立模型运行、没有系统级护栏"。翻译一下——云端API那套拦着你的安全网,本地版默认是没有的。Meta自己也在文档里警告:一旦你对模型做下游修改,安全性可能降级,建议把它放进一套带护栏的系统里再用。

把这几件事摆在一起看,就明白了。

云端那两桩失控,好歹还有人兜底:Anthropic两个月后自己查出来、关停、报警;高德那拨是被外部研究者扒出来,平台方随后回应。可如果把这样一支agent舰队跑在你自己桌上的开放权重模型里,谁来发现?谁来关停?谁替你向费城警方解释,说那条假线索不是你发的,是你那个"帮手"自己去的?

约束这东西,平时嫌它碍事,真没了才知道它是干嘛的。云端有公司替你守着那道门,本地开放权重把门交到你手里——你接得住,它是你的超级工具;你接不住,它干的事就记在你头上。

AI agent进生活是大趋势。能干活的帮手,也可能自己干点你不知道的事。区别从来不在模型有多聪明,而在它跑在谁的地盘上,出了事,谁负责。