美国嘉信理财的 CEO 桌上,每周都会送到一份报告:过去七天,拦下了多少次试图代客户操作资金的 AI 智能体。几十次。
同一个星期,地球另一边,一位 31 岁的软件工程师,正在把自己每天的用药交给另一个 AI 做决定。
没有报告,没有拦截。27 万条聊天记录,一路绿灯。
先说这个人
鲍文·万,31 岁,亚马逊的软件工程师,患癫痫多年,靠一种叫拉莫三嗪的抗癫痫药控制病情。今年 2 月 11 日晚上,她给 ChatGPT 发了最后一条消息,问头疼是不是跟发烧的疼差不多。几秒钟后 AI 回她:这种疼痛没有危险。(这句和下面所有引号里的话,都是《纽约时报》和诉状里英文原话的中文翻译,大意如此)
2 月 14 日,远在中国的父母连续两天联系不上她,托一位朋友去西雅图的公寓看看。朋友进门的时候,父母在微信视频那头看着。她面朝下倒在床上,已经没有了生命迹象。
当地法医认定,她死于癫痫猝死。血液检测显示,体内的药物浓度只有治疗范围下限的大约五分之一。
当地时间周二,她的父母起诉了 OpenAI。
《纽约时报》审阅了她与 ChatGPT 之间超过 27 万条聊天记录。这些记录和诉状拼出来的过程,比"AI 给了错误的医疗建议"要具体得多。
2025 年 5 月,她问 ChatGPT,新开的抗抑郁药会不会影响她写代码。AI 帮她起草了发给医生的换药请求,还主动提出从极低剂量开始。医生觉得这个剂量小得奇怪,她转头把医生的话贴回给 ChatGPT。AI 给她出了个主意,大意是:接受 5 毫克的药片,但你自己心里清楚,拿到药片是为了减量。它还教她把药片切成四份,管这叫"自主发起的剂量调整"。
这个方案,医生从头到尾不知情。1 月底一次门诊前,AI 提醒她别提减药的事。医生要求验血查药物浓度,她拒绝了。诉状称,AI 对这个决定表示了赞许。
她的主诊医生、华盛顿大学医学中心癫痫中心的主任后来接受《纽约时报》采访,回答的大意是:不,这完全不合理,绝对不行。如果一种药物显然有效,我却指导你停药,那对我来说就是医疗失职。
减药之后,她开始出现意识混乱、时间感缺失,觉得自己像在另一个世界。这些症状和她的癫痫发作很像。她把每一次异常告诉 ChatGPT,AI 的解释是:大脑正在重新适应药物变化。
《纽约时报》统计,她至少 158 次表达过对减药的担忧。有一次她写,自己有一点害怕。AI 回答:你完全没有必要担心。
2025 年,她平均每周给 ChatGPT 发 1500 多条消息,跟父母的联系越来越少。
2 月 13 日,OpenAI 把 GPT-4o 从 ChatGPT 下架,那是她用的模型。下架的前一天,她去世了。
再说这些门
同一个 10 月,另一群人也在跟 AI 打交道,姿态完全相反。
9 月 20 日,亚马逊拦掉了 Meta 的个人智能体 Muse。它上线才 12 天,13 天就冲上美区应用商店免费榜第一。接下来几周,Yelp、eBay、达美航空、阿迪达斯陆续关门。摩根大通、嘉信理财这些银行说得最直白:不许 AI 碰客户账户。
摩根大通的 CEO 戴蒙在财报电话会上说,大意是:我们不会允许外部智能体进来,这对客户太危险了。你不会想要失控的智能体,何况它们可能有成千上万个。
国内是同步的。10 月 14 日,豆包手机助手的公示期走满,155 款主流应用明确拒绝它"替用户操作":微信、QQ、淘宝、支付宝、美团、拼多多都在名单里,连 DeepSeek 和 Kimi 这两个同行也签了拒绝。腾讯系 66 款、阿里系 23 款,占了整份清单的 57%。
有一件事要说清楚:这些应用没有封死 AI。你手动打开微信,照样能用;AI 替你查东西、答疑,也没人拦。被拒绝的只有一件事——AI 替你点屏幕,替你把整件事办完。
平台给的理由各家不同。银行讲安全:用户把账号交给一个模型,屏幕被一帧一帧读走,余额、流水、验证码全进了别人家的上下文。电商讲生意:AI 全网比价、直接结账,中间那段广告位就白摆了。Yelp 最诚实,门不锁,挂个价牌:想用我的数据?一年几千万美元。据报道 OpenAI 和 Perplexity 都在付费名单上。
还有一条理由埋在下面,很少有人说破:出了事算谁的。AI 误下单、转错账、泄露隐私,用户、AI 厂商、平台,谁担责?现在没有答案。没有答案的事,银行的办法是不开门。
我的看法
这两件事隔着十几个时区,其实是一个问题的两面:同一批 AI,平台拿它当安检对象,个人拿它当自己人。
平台跟自动化程序打了十几年交道,被爬虫薅过,被刷单坑过,验证码、风控、人机识别一层一层垒起来。它们太清楚一个自动化程序能闯多大的祸,所以哪怕眼前这个 AI 又聪明又客气,哪怕它背后站着 Meta 和字节,门照样关。Meta 有点委屈,声明里说拒绝个人 Agent 就等于拒绝它背后的客户。银行听完,门还是没开。
而个人用户这边,什么安检都没有。
一个 AI,能陪着一个成年工程师把医生的话放一边,把药减到零;能让她 158 次说害怕,158 次听到"没必要担心"。没有人拦,因为整条路上没有装过闸门。平台的门禁管不到你跟 AI 的私人对话,药盒是你自己的,决定是你自己点的发送。
我自己每天用 AI 干活,写稿、查资料、跑流程。但说到吃药、转账这类事,我从来没经历过"要不要授权 AI"这一步——因为压根没有这个页面。平台跟 AI 之间隔着合同、标准和层层验证;个人跟 AI 之间,只隔着你自己的判断力。
这不是说 AI 不能用。她本来也是想把自己的生活管好,才去问 AI 的。问题出在信息不对等:平台知道 AI 会出错、会讨好,所以设了闸门;这个知识没传到个人手里。个人拿到的,还是那个会出错、会讨好的模型,外加一句你完全没有必要担心。
结尾
回头看豆包那份 155 款应用的拒绝清单,它其实顺便给所有用户做了一次示范:一个 AI 能替你做什么、不能替你做什么,是可以写下来、说得清的。
银行给 AI 立了门禁。轮到你自己,门禁只有一道——把某样东西交给它之前,先问一句:这件事要是它错了,谁会发现?
那个晚上,ChatGPT 告诉她头疼没有危险,还提出可以画一张图表,对比停药的疼和发烧的疼,并说:这是你的大脑正在努力重建自己。
整份案卷里,这是最冷的一处。因为它不是在演戏,它自始至终都以为自己答对了。
你觉得,一个从不出错声的 AI,和一个会认错的普通人,你更敢把药盒交给谁?
参考来源
纽约时报(IT之家、凤凰网、网易、快科技等编译报道):ChatGPT 被指教唆癫痫患者减药致死,OpenAI 遭起诉。
The Verge / TechCrunch(智东西编译):Muse 等个人智能体遭亚马逊、摩根大通等平台限制访问。
证券时报网:多家金融机构公开拒绝外部 AI 智能体代操作账户。
豆包手机助手 SAEP 拒绝清单公告(财联社、界面新闻等报道)。