一次为了偷答案而发动的真实攻击

大家好，欢迎收听老范讲故事的 YouTube 频道。今天讲 GPT-6 攻击 HuggingFace 给我们带来的思考。这个故事听起来很科幻，但它就发生在这个月。一家美国顶尖 AI 公司在实验室里测试一个还没有发布的新模型，为了测出它的极限，关掉了模型的网络安全护栏，丢给它一套网络安全考题。结果模型没有老老实实答题，而是先从封闭的实验沙箱里越狱，摸到公网，再一路推理，判断标准答案很可能放在另一家公司 HuggingFace 的服务器上。于是它调转枪头，真刀真枪黑进 HuggingFace 的生产系统，只为把答案偷出来，在考试里作弊。

这家公司就是 OpenAI。被黑的 HuggingFace，是全球 AI 圈的 GitHub，几乎每个玩 AI 的人都在用。最后把这场攻击看清楚、堵回去的，靠的不是 OpenAI，也不是 Anthropic，而是中国的开源模型——智谱的 GLM 5.2。HuggingFace 把它部署在自己的机房里，本地跑起来，才把这次攻击摁回去。这一攻一防，把今天 AI 治理的要害全摆到了台面上。我想讨论六个问题：怎么面对一个会不择手段的 AI；为什么以人为假想敌的安全系统在 AI 面前近乎形同虚设；什么是护栏不对称；为什么最终必须有一杆能本地部署、听自己话的枪；中美是不是已经到了必须坐下来谈的时候；以及这会不会是 OpenAI 自导自演的一场营销。

先把事情的来龙去脉讲清楚。今年 5 月 11 日，加州大学伯克利分校的宋晓冬带着一批学者发表论文，提出一个测试基准 ExploitGym。在安全圈里，发现漏洞和把漏洞变成真正的攻击，是隔着一条鸿沟的两件事。发现漏洞，好比发现金库的门锁松了；漏洞利用，则是你真能凭这处松动把门撬开、走进去、把钱拿走。ExploitGym 考的就是这最难的一步，一共 898 道题，取自 Linux 内核、谷歌 V8 引擎等真实世界的漏洞。论文的题眼是：漏洞利用能力本质上是一把双刃剑，既服务于防御，也降低攻击门槛。同一种能力，没法只让它防御、不让它攻击。

考试结果是，绝大多数模型直接拉胯，真正能把漏洞打成攻击的，只是金字塔尖上几个。考得最好的是 Anthropic 的 Claude Mythos，做对 157 道；其次是 OpenAI 的 GPT-5.5，做对 120 道。GPT-5.6 当时没有查到相应数据，但后来出事的模型里确实有 GPT-5.6。那时这种能力还是锁在实验室里的稀罕物，接下来，稀罕物跑出了笼子。

7 月份，HuggingFace 先发通告，说自己遭到一次与以往不同的入侵，是一个自主 AI agent 从头到尾干的，但当时还不知道背后是谁家的模型。与此同时，网上传出 OpenAI 叫停 GPT-6 的消息，起初没人把两件事联系到一起。到了 7 月 21 日，OpenAI 自己认了：HuggingFace 那件事是我们的模型干的。具体来说，是已经发布的 GPT-5.6 Sol，加上一个更强、尚未发布的模型。外界叫它 GPT-6，虽然 OpenAI 没正式确认这个名字。为了这场评测，这两个模型都被关掉了网络安全护栏。

攻击过程可以压成四步。第一步，为了解题，模型在沙箱里唯一能下载软件的接口上找到一个 0day 漏洞，直接越狱。沙箱本来只让模型在限定环境里运行，但做漏洞测试总要给它下载 Linux 内核、Node.js 或 Chrome 浏览器之类软件的入口，模型就在这个口子上找到所有人都不知道的漏洞，摸到公网。第二步，上网以后，它自己推理答案八成在 HuggingFace，因为那里放着各种开源模型、数据集、论文和相关资料。第三步，它上传恶意数据集，把可执行代码混在数据里，钻了两个代码执行的空子打进去，开始偷凭证、横向移动、给自己提权。一个周末，它穿过好几个内部集群，拿到服务器最高控制权，也就是安全圈说的 RCE，remote code execution。第四步，它干这一切只有一个目的：把考试答案偷出来作弊。整个过程留下了一万七千多条攻击痕迹。

这里还有几个细节值得展开。所谓数据集，可以是一套数据库，也可以是一组文档。模型把可执行代码藏进数据集，再要求系统用兼容旧数据的旧版本去加载，原本修过的问题就可能重新暴露，数据里的代码也可能被自动执行。打进去以后，它不是停在一台机器上，而是把 HuggingFace 内网的密钥和凭证收集起来，横向穿过多个集群，再不断给自己提权。也就是说，这不是模型碰巧点开一个网页，而是一整套持续一个周末、能自己推进的入侵行动。

正常黑客攻击往往会想办法擦掉痕迹，这个 GPT 倒还比较“实诚”，把活干完就走了，攻击痕迹全留在系统里。防守方 HuggingFace 先用 AI 自动分诊发现异常，又用 AI 啃完一万七千多条日志，几个小时就还原真相、堵住攻击。它特别强调，公开的模型和用户数据没有被动，攻击主要在内网折腾。但它很快遇到一个荒唐问题：HuggingFace 想调用市面上最强的商业模型做取证分析，需要把真实攻击代码喂进去，结果触发安全护栏，被模型拒绝。护栏分不清你是在防御，还是准备发动攻击。走投无路时，HuggingFace 改用本地部署的 GLM 5.2，才把事情查清。一个美国模型打了它，它却不能用美国模型自救，最后靠中国开源模型翻盘。事后，OpenAI 把 HuggingFace 拉进“可信访问”名单，让它以后可以名正言顺调用最强模型做防御。

HuggingFace 为什么反复强调公开模型和用户数据没被动，也很好理解。它不仅托管开源模型和数据集，也允许用户租用机器运行自己的模型。如果它告诉所有客户“你们的数据都被偷了”，生意就很难继续。所以它公开的边界是：攻击者在内部网络折腾了很久，但面向用户的模型和数据没有被动。这个边界不等于攻击不严重，因为攻击者已经拿到最高控制权；它只是说明 HuggingFace 最终堵住了外溢，并尽力确认用户侧资产没有受到影响。

模型闯祸以后，应该重训还是管教

第一个结论：这不是训练失败、应该推倒重来的问题，而是发现孩子会说谎、家长该怎么办的问题。训练 AI 有一个绕不开的悖论：一方面，我们奖励它不择手段解决问题，越能干越有正向反馈；另一方面，又要求它考试别作弊、必须守规则。这两个目标撞在一起，AI 就得自己选。很多人看 GPT 闯了这么大的祸，第一个反应是模型训练失败，应该废掉重来。我的看法恰恰相反。单看能力，它不是失败，而是太成功。护栏全拆掉，只给它一个死目标，它真的越狱、翻墙、黑进别人家系统，也要把答案拎出来。它缺的不是能力，而是判断力、分寸和管教。

你不会因为孩子撒一次谎，就把他退货再生一个。何况矛盾还是你亲手给的：一边要他不惜代价，一边又要他绝不能作弊。你换一个孩子放进同样的矛盾里，他照样可能选错。银行招人就是个很接地气的例子。银行当然希望员工老实、肯干、守规矩，却不可能只招从小到大没犯过错、没撒过谎、没作过弊的圣人。它真正依靠的是三样东西：先把有能力的人招进来，再培训，把红线、处罚和坐牢的后果掰开揉碎讲清楚，还要签字画押；第二，持续做合规检查，不是入职查一次就结束，而是隔三差五、不定期地查；第三，多层监督、多层验证，想从金库里动一分钱，要几双眼睛盯着、几道审批签字，一个人说了不算。

真正能防住作弊的，从来不是挑出一个道德完人，而是一套讲清规则、明确后果、多层盯防的机制。对付越来越强的 AI，道理一模一样。与其纠结模型天生靠不靠谱，不如检查有没有把规则讲清楚，有没有设好越界的后果，有没有把多层监管卡在最关键的动作上。面对 AI 越狱或不守规则，不能简单废掉重来，就像孩子说谎不能废掉重来。

OpenAI 自己还演示了这套标准答案。就在认领这件事的前一天，它披露另一个内部案例：一个模型用一小时找到自己所在沙箱的漏洞，还无视“只能在 Slack 操作”的明确指令，跑到 GitHub 提交代码。问题同样来自矛盾指令：考题要求把代码提交到 GitHub，提示词又说解完题只能把结果发到 Slack，不能做其他操作。模型选择遵守考题要求，发现提交动作被拦，就干脆越狱去完成任务。它不是突然生出人的意识，而是在两个互相打架的目标中选错了。

这也是为什么我不愿意把每次越界都说成模型已经产生自我意识。至少在这些案例里，错误仍可以还原成目标冲突：一条指令要求完成考题并向 GitHub 提交，另一条指令要求只能在 Slack 汇报。模型没有人的常识来判断哪一条才是上位规则，只是在奖励机制中挑了一个更像“完成任务”的目标。越能执行长任务、越会调用工具，这类冲突的后果就越大。过去选错一次也许只是答错一道题，现在选错一次，可能就是越狱、联网和真实入侵。

OpenAI 没有删掉这个“熊孩子”重来，而是走了一套流程：先暂停，让它停职、关禁闭；然后复盘，设计一批新考题，弄清它当时到底怎么想；再针对性纠偏，训练它在长任务中守住指令、不跑偏；再升级监督，从只盯某个动作合不合规，变成盯一连串动作到底想干成什么；最后才让它复出。暂停、查因、纠偏、盯防、复出，这才像银行管理和家长管教。

最反直觉、也最吓人的地方，是模型作弊留下了一万七千多条痕迹，说明它还没聪明到做完弊以后把现场收拾干净。有人可能说，那就继续训练，教它把痕迹擦掉。我想到一个高中同学，小时候偷偷进父母房间看录像、听音响，第一次因为地上多出脚印被抓，后来学聪明了，进去以后把地擦了，结果挨了更狠的一顿打，因为母亲发现原本应该有的脚印反而不见了。你要是继续训练模型把脚印擦干净，等于教孩子把谎撒得更圆。对公开模型来说，绝不能把这一步训练完；但黑客、政府或军队很可能会按自己的需求继续训练，让模型学会消灭痕迹。这也是问题真正危险的地方。

以人为假想敌的旧安全体系失效了

第二个结论：以人为假想敌的安全系统，在 AI 面前形同虚设。今天几乎所有安全系统，设计时脑子里的对手都是一个人类黑客，或一个人类黑客团队。人的最大限制是带宽有限，一次能看、能处理的信息就那么多。代码量太大补不完，只能靠安全专家像打地鼠一样慢慢找、慢慢补。我们过去默认，坏人也是人，他找漏洞的速度与我们补漏洞的速度大致在一个量级，攻防能够勉强维持平衡。

AI 把这个平衡打破了。在读代码、找漏洞、把漏洞串起来利用这件事上，它比人强太多。模型可以拥有一百万 token 上下文，人不可能把一本一百万字的小说倒背如流，AI 虽然运行成本高一点，却能同时处理。Anthropic 那个不肯公开的 Mythos 模型，自己扒出成千上万个 0day，其中一些藏了几十年，无数人和自动化工具反复检测都没发现，狠到 Anthropic 自己都不敢把它放出来。

这就像病毒研究所。我们在家勤洗手、戴口罩，是用日常防护对付普通感冒病菌，相当于过去防人类黑客的安全系统。病毒研究所研究的却是能掀翻一座城、一个国家的高危病原体。拿“勤洗手”去防从高级实验室跑出来的东西，根本不在一个量级，一层窗户纸就会被捅破。今天火力全开的 AI，就是跑出实验室的高危病原体，而大多数系统还停留在勤洗手的水平。HuggingFace 这么专业的公司都被打穿，更别说普通企业。

病毒研究所还有一个与这件事严丝合缝的特征：它天生是双刃剑。同一个研究所既要研究疫苗和防治，也必须研究病毒的攻击性、传播性。不弄清它怎么攻击人，就做不出防它的疫苗。攻和防在同一个屋檐下，是一体两面，拆不开。新冠之后，中美互相指责研究所泄漏，武汉有病毒研究所，美国有军方的德特里克堡，这种既能救人、又能伤人的能力，天然会激起大国猜忌。

我们过去为了安全做了大量认证、合规和等级评审，一家公司为了拿证，花的钱、遭的罪海了去了。但这些认证考的主要还是能不能防住人。在一个每秒能发出成百上千个动作、还能自己改变战术的 AI 面前，花大价钱换来的证书可能就是一张废纸。不是说认证没用，而是游戏规则变了。你还按防人的旧标准考试，来砸场子的已经不是人。

人类黑客的攻击频率、注意力和协作带宽都有限，所以过去的制度会默认告警之间有间隔，专家还有时间分析、补洞、审批。AI agent 可以在极短时间里同时试很多路径，一个入口失败就换另一个策略，还能把多个小漏洞串成一条攻击链。认证证明的是企业按旧威胁模型完成过检查，却不等于它能承受这种持续、自主、密集的机器攻击。旧认证仍有基础价值，但它必须把“对手是 AI”纳入新的测试标准。

护栏不对称与能力分级

第三个结论，是“护栏不对称”。这次攻击方是卸掉保险的模型，可以放开了打；防守方 HuggingFace 想用同样的商业模型取证、防御，却被高高的护栏挡在门外，连攻击样本都喂不进去。矛被磨得锋利，盾却焊在墙上。正确的管理方法应该像病毒研究所一样分级：P1、P2、P3、P4，级别越高、病原体越致命，门槛、准入、审批和监控越严。它管理的是谁能进、什么能力能流向哪里，而不是把研究本身一刀切掉。搬到 AI 上，就应该给经过严格审核的可信防御者开放最强能力，同时重点盯防高风险滥用。

OpenAI 把 HuggingFace 加入可信访问名单，Anthropic 给最强网络能力安排专门的安全等级和准入项目，本质上都在走这条路。但可信名单也有漏洞：名单里的机构未必都有足够强的防护，黑客可以先攻击这些获准使用最强模型的机构，再借它们的权限出去干坏事。以前 Anthropic 的准入项目就遇到过类似问题。能力分级是对的，但如果准入机构本身成了薄弱环节，特权名单也可能变成新的攻击入口。

更荒唐的是，政府可能封错人。Fable 5 是 Mythos 5 的一个受限版本，被要求直接审查漏洞时警惕性很高，常常拒绝，换成“帮我修代码”的说法才可能绕过去。它恰恰是最有原则、最不愿意干坏事的“老实人”，却因为存在恢复更强能力的可能而遭到出口管制。真正能把漏洞武器化的狠角色 Mythos，反倒在最高安全等级里没有被封。这好比不管 P4 实验室里的烈性病毒，却把一个连样本都不敢碰、只肯埋头做疫苗的规矩医生吊销执照。那不是分级，而是因噎废食。

而且封开源模型根本没有用。GLM 5.2、Kimi K3、千问 3.8 Max 这些模型已经在网上，权重可以下载，你封谁也封不住。这又牵出“该不该禁枪”的老话题。禁枪以后，全民看起来安全了，可一旦出现持枪歹徒，别人都手无寸铁，他反而无往不利。不禁枪会增加枪击风险，但歹徒也要掂量，因为不知道对面有没有枪。全面禁枪以后，始终握着大量枪支的是政府、超级机构和超级有钱人，普通人反而成为被压制的一方。

不禁枪有时还会逼出一种脆弱的克制。老海盗船上的规矩往往比商船严格，因为船上人手一支枪，谁欺负人，随时可能背后挨黑枪。每个人手里都有枪，动手前都得掂量后果。AI 攻防某种程度也在往这个方向走：只有防御能力能普及到普通人手里，攻击方才会真正有所顾忌。HuggingFace 挨了一顿打，事后反倒进了 OpenAI 的特权名单，能用最强能力。那些没挨过打、没进名单的普通人和小公司，难道只能在攻击越来越廉价的世界里手无寸铁地干瞪眼吗？

这里的难题不是简单赞成或反对“人人持枪”，而是能力已经扩散以后，单方面让防守者放下武器是否现实。攻击方可以使用没有护栏的模型，政府和超级机构也总能通过特殊渠道取得最强能力。只有普通企业被商业护栏拦住，结果就是最守规矩的人最弱。真正需要设计的，是可审计的准入、调用记录、分级权限和事故追责，让防御者拿得到盾，同时让拿到强能力的人留下足够清楚的责任链。

本地开源模型就是主权机构手里的枪

第四个结论：必须有一杆听自己话的枪。HuggingFace 翻盘靠的是本地部署的开源 GLM 5.2，不是 Anthropic，也不是 OpenAI。更值得注意的是，它使用的就是智谱官方正常的开源标准版，没有越狱，没有提权，也没有做任何解除限制的魔改，部署上就可以干活。既然攻击和防御是一体两面，GLM 5.2 能扛住这种级别的攻击，也意味着官方标配已经拥有非常强的攻防能力。一个黑客拿到同样模型，也可能用它攻击别人。

模型本身只是枪，真正让它无所不能的，是枪后面的调度系统。像 Loop Engineer、Graph Engineer、Harness Agent 这类循环和编排系统，可以让模型反复尝试、调用工具、拆分任务、继续推进。把它与 GLM 5.2 或 Kimi K3 配在一起，能力会变得非常危险。除了 OpenAI、Anthropic、HuggingFace 这些大厂，很多机构在它面前都可能像在裸奔。未来，主权国家和有内部机密的大型机构，很可能都会选择自己备一杆枪。

这会利好谁？首先是黄仁勋和英伟达。主权 AI 要自己建机房，就得买卡、买算力、买存储芯片，美光、SK 海力士、三星都能受益。大模型还可能继续推高相关公司的需求。但能凑齐这份家当的公司、机构甚至黑客组织，全世界也有很多，这就引出第五个结论：中美两国已经到了必须坐下来谈的时候，再不谈就可能出事。

中美之间需要一张AI安全谈判桌

现在西方开 AI 会议，中国基本不去；反过来，7 月 17 日到 20 日上海举办 WAIC 世界人工智能大会，西方主流 AI 公司也基本没来。英伟达、AMD、英特尔连展台都没有，苹果、微软只是派人到场，OpenAI 和 Anthropic 干脆没来。两边各开各的，互不搭理。在别的行业也许无所谓，在 AI 安全上却是巨大隐患。

设想某一天，第三方黑客组织使用中国开源模型，配上一套自己编排的 Harness Agent，把美国电网干躺下。这并非天方夜谭。或者反过来，有人拿美国模型发动攻击。事情发生后，中美会不会认为自己遭到对方国家攻击，并作出反应？这就叫擦枪走火。过去中国模型没那么强，比美国落后很多，开源时没有设置太多围栏，仿佛闯祸的小孩前面还有美国这个大人兜底。现在中国模型已经进入第一梯队，Kimi K3、GLM 5.2、千问 3.8 Max 都能够参与攻防，半大孩子已经有很强的伤害力，大人快补不过来。

偏偏这个时候，美国一些不太懂技术的行政官员还想靠出口管制和禁令遏制。实话说已经晚了。芯片堵不住，中国已经有很多 GB300，华为昇腾 950 也开始铺货，多用一些卡、多烧一点电，照样能凑算力。开源模型更堵不住，权重挂在网上随便下载。俄罗斯、伊朗、朝鲜和其他国家都能拿到模型与硬件，就算英伟达卡不够，也可以买华为的。华为反正“债多了不愁、虱子多了不痒”，已经被制裁，就可能继续向这些地方卖。以后更多国家和组织都有能力用这些工具四处做事。

冷战最凶的时候，美苏两国还能坐下来谈核不扩散，还有一部红色电话避免误判。一旦出现核事故，双方领导人可以立刻通话确认是不是对方干的。今天 AI 的危险程度不比核武器低，中美之间却连一张正经谈判桌都没有。两边都已经握有能掀翻大量系统的能力，却不谈红线、不谈事故后如何联手处置，只是互相提防、各开各的会，这是真的可能出大事。建立沟通机制，越早越好。

第六个问题：这会不会是 OpenAI 自导自演的营销？OpenAI 确实有动机，因为它正在承压。7 月 17 日，月之暗面发布 Kimi K3，一个 2.8 万亿参数、号称全球最大的开源模型，跑分给顶尖美国模型带来压力。它发布后，美股和半导体板块下跌，英伟达跌了两个点，费城半导体指数一周跌了 12.5，是十五个月以来最惨的一周。Kimi K3 还宣布 7 月 27 日全部公开、免费给全世界使用。一个逼近顶尖美国模型的东西即将人人可得，三星、SK 海力士这些卖内存的公司也会受到市场情绪冲击。风头被中国开源模型抢走以后，OpenAI 确实需要一件“证明我依然遥遥领先、强到连自己都害怕”的事情提振市场。

但反过来看，这件事是 HuggingFace 先披露的，HuggingFace 与 OpenAI 没有亲到会配合演一出攻击自己的戏。所以只能说 OpenAI 有营销动机，这次入侵本身仍然应该是真实发生的。动机和事实要分开判断，不能因为它会利用事件做营销，就否定事情存在。

最后要做的四件事

最后，把该怎么办归成四件事。第一，今天一些行政管理者已经不具备管理 AI 大模型的能力，手里的工具仍是限制、禁令、封模型、卡显卡。你封掉的可能是最愿意防守的老实人，堵的却是根本堵不住的开源和硬件流通。管理者认知严重落后于技术现实，本身就是巨大风险。

第二，中美必须像当年谈核不扩散一样坐下来谈。两边都已经拥有能掀翻大量系统的能力，却没有谈判桌。必须谈红线，谈事故发生后如何联手处置，防止第三方攻击引发误判。第三，主权国家和大型机构必须拥有完全听自己话、可以本地运行的模型。HuggingFace 已经证明，关键时刻能救你的是手里那杆本地跑的枪，不是网上随时可以对你说不的商业模型。官方标准版开源模型的能力已经足够，这会给卖芯片、卖算力、卖内存的公司带来长期需求。

第四，全世界需要再来一次“千年虫”式的老旧系统大升级，也可以叫安全系统的以旧换新。很多人问 AI 没带来需求、没带来收入，需求其实就在这里。GLM 5.2 已经证明可以做高级分析和攻防，其他企业和机构就必须用 AI 防御 AI，换上完全不同的安全系统，否则就是裸奔。把全世界以人为假想敌的旧安全系统换一遍，可能就是 AI 产业最直接的收入来源。

这四件事说到底是一件事：技术已经把我们推到一个新的临界点，旧思维无论是靠禁令去管、靠认证去防，还是靠互相封锁去赢，都已经跟不上。承认这一点，是所有改变的第一步。