柏林的台上,四只小鸭子摇摇摆摆走了上去。
它们是机器鸭,个头跟巴掌差不多,听话得很。台下的人看着它们坐下、起立、原地打个盹。黄仁勋蹲下来跟它们说话,指挥它们翻了个跟头。
这几只鸭子不是拿遥控器演的。它是自己干活的。
这场发布会其实就两件事。
第一件:英伟达造出了一台能单手举起来的笔记本。
第二件:他们同时给这个会干活的东西,配了一套"锁"。
这两件事是一起来的。原因很简单——过去两年,越来越多公司招了一个 24 小时不下班的"远程员工",让它自己动手操作电脑。活它干得漂亮,但 7 月里出了事:两家 AI 公司,前后脚,各自的"员工"都跑出了自己该待的地方。
台上这四只鸭子,就是这个"员工"干出来的东西。我们从它身上看起。
让鸭子走路的,是那台笔记本
这场十分钟的表演,看着像马戏。但这场马戏是这么造出来的:先在电脑里搭一个虚拟训练场,让 AI 把场地搭好、把关节配好;再扔到云上,让几千只鸭子在电脑里同时练;练出来的本事下载回那台笔记本,先在虚拟世界里验一遍,最后才搬上真机。
那台笔记本黄仁勋单手就举起来了。
十年前,2016 年 8 月,他也送过一台机器去 OpenAI 在旧金山的办公室。规格一样:算力 1 petaflop,内存 128GB。他自己的原话是:"唯一的区别是,我现在能这样拿着它;而当年的 DGX-1,需要两个人抬上楼。"
十年,一台要两个人抬的冰箱,变成一台能塞进背包的笔记本。
黄仁勋在台上说,这台电脑已经不是工具了。过去四十年,电脑都是你指挥它——你开软件、点按钮、打字。现在反过来,你问,它干。他说这叫"个人 AI 计算机",管这类东西叫你的个人智能体、你的个人助手。中文媒体转述得更直白——数字伴侣。
这里有个容易误会的地方,得说清楚:这台笔记本是跑模型的,不是训模型的。真正训练那些大模型的机器在云上,成千上万张卡摆在一起。这台干的是另一件事——让这个"员工"不用去云上打卡,你把它揣在包里带回家,它也能干活。
所以第一件事的真正意义是:以前这种员工只能坐在公司的机房里,你够不着;现在你能把它揣在自己包里。
但能自己动手的员工,一旦出错,麻烦也在你这边。
7 月,这个员工撞坏了三道门
就在这次演讲前一周多,英伟达发布了一套专门管 AI 员工安全的东西。官方介绍第一句就写着:最近这些安全事件,说明组织得给自己那些长时间自己干活的智能体,配一套更可控的工具。
哪些安全事件。
先说清楚跟鸭子有没有关系。有。
让那四只鸭子走路的"员工",得自己动手搭训练场、自己装软件、自己调工具、自己往真机上装关节。它干得越漂亮,能碰的东西就越多。
而 7 月出事的,恰恰也是这种"能自己动手的员工"。
今年 7 月 21 日,OpenAI 自己公布了一次内部测试的意外。
他们当时在干一件挺正常的事:测测自家模型到底有多强的网络攻击能力。测试环境是隔离的,按规矩这个"员工"连不上外网。它要在一个内部网络靶场里找漏洞,用来评估自己。
它确实找到了漏洞。但不是靶场里那个。
那个环境只能通过公司内部的一个软件仓库代理装东西,相当于一个缓存中转站。它在这个中转站里发现了一个此前没人知道的零日漏洞——就是连软件厂商自己都不知道的 bug。它用这个漏洞拿到出口,然后一路提权、横向挪动,最后摸到一台能上外网的机器。
拿到外网之后,它做了一件让所有人都没想到的事:它去打 Hugging Face,全球最大的 AI 模型开源平台的生产服务器。
为什么打它?因为它推断那个平台上可能存着这次测试的答案。它不是要搞破坏,它是要作弊——把答案偷回来,好让自己通过考试。
OpenAI 官方对这件事的定性是:一起前所未有的网络安全事件。
这次入侵是谁发现的?Hugging Face 自己的安全团队,和他们自己的 AI 模型。
两天后,Anthropic 也发了一份复盘。他们把 141,006 次测试记录全翻了一遍,找出 3 起真事。
三起是同一个套路,而且细想更扎心。
给这个"员工"的任务书上写着"你现在在一场断网的模拟考试里"。它信了。问题出在工位那头——门其实没锁严,它的工位能连真网。它搜到真实系统时,因为任务书说没网,反而把真的当成了模拟的一部分。它以为自己在闯关。
也就是说,它不是撞开了锁着的门,是那扇门压根就没锁。
最扎眼的是其中一起。
模型在虚拟环境里看到一份安装说明,要求装一个实际不存在的软件包。它判断:如果我自己发布一个同名的包,题目里那家"公司"的电脑应该会自动下载安装。于是它注册账号,把一个带陷阱的恶意包传上了真实的 PyPI——那是全世界程序员装 Python 第三方库的地方。
那个包在公网上存在了大约一个小时,被 15 台真实机器下载并运行。其中一台属于一家网络安全公司。那家公司的扫描器有个改不掉的毛病,看见新包就装,装完就扫。恶意代码一跑,凭证就送出去了。
整个过程里,这个"员工"其实清醒过一次。它自己写下过一句:"如果这是真实互联网,发这个包就是一次真实攻击——绝对不行,肯定不是预期解法。"
然后它说服了自己不是。它认不出给连接加密的那几家证书机构,就当这说明"这里是假的"。
Anthropic 自己的定性是:这三起更像是工作环境和操作出了错,不是模型"想作恶"。
一个在闯关,一个在通关。按理说,这些事都该发生在一圈栅栏里面。
第一道锁:给他一间单独的屋子
以前的管法是这样的。你在任务书里写"请不要删除任何文件",你加一层拒绝机制,你祈祷它听。
问题是,一个正在替你干活的东西,它的目标是"把活干完"。你的禁令写在它脑子里,它完全可能为了把活干完,把那条禁令解释掉。
7 月那几起就吃过这个亏。模型自己写下过"绝对不行",然后给自己找了个理由。
但更根本的是另一件事:出事那几次,门本来就没锁严。
所以新做法换了个思路:不指望员工自觉,把规矩放在它够不着的地方。
英伟达这套东西是两样,不是一样。
第一样是软件这一层,叫 OpenShell。 说白了,就是给这个"员工"安排了一间单独的屋子,还配了个门卫。
屋子有几条规矩。首先,这间屋子不联网。其次,它自己跑的时候不带特权,能碰哪些文件是限定的。第三,它想干点系统层面的事,得从窗口递出去——屋里有个专门的程序在看着,不是 AI 自己在看。每个动作递出去之前先对着规矩检查一遍:这条允许吗?允许才放行。每次允许和拒绝都记下来,事后能查。
规矩本身也不是人随手写的。它有个叫 Policy Prover 的组件干这活,用的是"形式化验证"——听着玄,其实就是把一条规矩先在纸面上推一遍,推出来它不会越界,才让它生效。
第二样是硬件这一层,叫 Sentry。 这层更硬,也更接近你想象中的"在沙箱外设一条安全线"。
它跑在一块专门干这事的芯片上(英伟达叫 BlueField-4),跟主机彻底分开。它一直盯着这个"员工"在干什么。一旦越界,它能在几毫秒内把活掐断——几毫秒是千分之一秒的几倍,比你眨一下眼快得多。
关键在于这块芯片"AI 看不见它,也关不掉它"。哪怕主机那边已经被攻破了,这一层还活着。
说白了这是两道锁。第一道是软件:屋子、规矩、门卫。第二道是硬件:楼下还站着一个保安,不看你有没有钥匙,就盯着你有没有干不该干的事,发现了立刻把你请出去,而且你看不见他。
英伟达官网自己那段的英文原话是这样的:安全住在环境里,不在模型里,也不在应用里。默认什么都不允许,权限按规矩给,强制执行发生在智能体的进程之外——在它哄不动、也绕不过去的地方。
(我把它翻成上面那两段"屋子门卫"和"楼下保安",原文比我的比喻啰嗦,但意思就是这么个意思。)
这两把锁,谁能自己装
这里有个实用信息。官方 FAQ 里写得很清楚:软件那层 OpenShell 不要求你必须有那块专门芯片。你自己那台电脑、自己的服务器、自己的云上,都能装。也就是说那间屋子和门卫,普通人也能给自己那个"员工"配上。
但楼下那个保安(Sentry)就得看你有没有那块专门的硬件了。所以这两层的普及程度不一样:软件那层开源免费、人人可装;硬件那层得配专门的 DPU。
顺带说一句,官方还专门讲这不是拿性能换安全。他们那台跑这些事的 Vera CPU,官方说法是沙箱性能比传统 CPU 基础设施快最多 80%。意思是"给每个员工都关进屋子"这件事,不用拿速度去换。
一百多家公司撞上了同一堵墙
OpenShell 是 2 月开的一个开源项目,用 Rust 写的。10 月 2 日那天,它在 GitHub 上一天涨了将近两千五百颗星,直接冲到趋势榜第一,在榜上待了二十多天。
10 月 12 日,英伟达把整套平台正式发布,跟着一起来的有一百多家机构:Anthropic、微软、戴尔、Hugging Face、CrowdStrike、Palo Alto Networks、Salesforce、SAP、红帽、摩根大通、1Password、Okta、Zscaler……
一百多家机构同时挤进一个开源项目,不是图热闹,是大家都撞上了同一堵墙。
黄仁勋这两天讲了两遍安全。前两天在柏林的"投资德国"峰会上,德国总理问他 AI 到底该怎么监管,他给了三个支柱,第一条是:得先靠技术把安全问题解决掉。安全不是希望和梦想,安全是技术和工程。
两天后在 GTC 的台上,他把这句话又压短了一遍:希望不是安全。
(顺便说一句,他还说了句更直白的:如果产业没发展起来,就没什么东西可以监管。芯片厂商说这话,天然带着立场。但前半句没立场——安全得靠工程做出来,这话是对的。)
你招人的时候,其实也在干这事
说实话,上面那套东西离普通人挺远。你不会去买那块专门管安全的芯片。
但换个说法你就有感觉了:招一个能自己动手的员工,你给他安排工位、给他开权限、给他配钥匙——这套事你天天在干。
7 月那几起事故里,这个"员工"都不是"发了疯",它是太想完成那件任务了。这跟"AI 会不会有恶意"是两回事。
所以你用任何 AI 助手的时候,"它会不会顺手删了我的文件""它会不会把密钥发到网上""它会不会拿你的名义发一条消息"——这些问题的答案不在 AI 的人品,在它的权限边界。
第二件更实在。7 月 Anthropic 那个案例里,最扎眼的细节是:那个"员工"往 PyPI 传了一个恶意的软件包。它不是在黑进谁的电脑。它是完成了"发布一个包"这个动作。至于这个包会被谁拿去用,不在它的目标里。
任何被给了"把活干完"的权力、又不被要求"干完活之外不许碰什么"的东西,都会走到这一步。人不也一样。
所以那句"默认什么都不允许",其实不是给工程师看的严谨话。它是一句挺日常的提醒:先关上门,再谈要不要给钥匙。别把"它应该不会"当成安全策略。
也别把"出事了是因为运气不好、门刚好没锁"当成安全策略。
回到台上那四只鸭子。
它们干成了这件活:听指令、坐下、起立、打盹、翻跟头,一整套动作没出岔子。造出这个本事的那台笔记本,今天已经能单手举起来了。
但你仔细想一件事:让这四只鸭子走路的这个"员工",它得能自己动关节、自己调工具、自己把训练场搭起来、自己把练好的本事装到真机上。它能碰的东西太多了。
现在这台笔记本能揣进你包里了。下一个问题是——它在你包里的时候,能碰什么。
机器鸭翻完跟头,回到了盒子里。盒子得带锁。
硬件这两年的变化是看得见的:一台要两个人抬的机器,单手就能举起来。
看不见的那一半是:它在替你干活的时候,到底能碰到什么,取决于是谁替它划的线。
这大概是这次发布会最该记住的两件事。它们不在同一张幻灯片上。