造AI的人亲口说了：这项技术10年内可能杀死全人类。1.3亿人围观，发话的正是踩油门的研究员，可Anthropic的2万亿IPO照样停不下来。大家好，欢迎收听老范讲故事的YouTube频道。先花30秒把“踩油门”这件事说清楚：造大模型分好几道工序，预训练是最核心的那一道，把海量数据灌进算力集群，亲手把模型能力喂出来；负责预训练的研究员，就是流水线上踩油门的那个人。
以前喊AI危险的，都是研究刹车的人：做对齐的、做安全的，或者外面的学者。他们喊了十几年，大家已经耳朵都听出茧子来了，反正不是造它的人自己在喊。这一次不一样了，是亲手把GPT-4o喂出来的人辞职以后说：“我要踩刹车了。”事情先摆在这里，每个人心里大概都要问6个问题：第一，这7条贴文到底说了什么狠话？第二，考克森到底是谁，凭什么他说话有人信？第三，他图什么，钱都不要了吗？第四，公司自己人怎么说？第五，一条辞职帖凭什么3天过亿？第六，这件事情最后该怎么办，真停得下来吗？咱们一个一个来说。
踩油门的人发出七条警告
首先，这7条都说了什么？考克森是9月8日晚上发的帖，一共7条，每条都能单独拎出来上热搜。第一条是辞职声明，也就是总纲。他说：“我今天从Anthropic辞职了。过去三年，我在OpenAI和Anthropic都做预训练。这两家公司都没有负责任的行动，他们正一头扎进能够自我改进的超级智能，拿我们的命下注。”注意，“自我改进的超级智能”是整件事情的题眼，后面还要反复出现。
第二条讲能力。他说，别低估这项技术，这些系统很快会变成超人级的，能黑掉任何东西，拿到现实世界的权力和资源，进展没有放缓。第三条是传播最广的一条。他说，造AI的人真心相信，这项技术可能在本10年结束前杀掉全人类。大家注意，前面讲的是10年内杀掉全人类；如果是本10年结束前杀掉全人类的话，那就还有4年，这更吓人一点。很多高管面对媒体把话说得很理性，私底下都在表达恐惧；没有其他任何人类活动带来过这种级别的危险。
第四条回答那个最常见的反问：既然真信，为什么还在造？他给了两个诊断。在OpenAI，很多人根本没把文明级利害内化进心里，这是无知之错；在Anthropic，利害关系大家都懂，但被锁死在必须第一个冲过去的竞赛里，这是囚徒困境之错。一家没看清，一家看清了也停不下来。
第五条是叙事上最狠的一条。他说，接受这场竞赛、进入所谓的终局，是一场傲慢的赌博；这些赌局本不该从一家私人公司的Slack频道里发动。他接受《华尔街日报》专访时说得更直白：这种事情本来应该发生在沙漠里的掩体中，像曼哈顿计划那样，现在却发生在旧金山几个工程师的MacBook上。这句话成了全网传播最广的金句。
第六条讲方案。他说，对实验室之间的协调还有希望，Hugging Face被攻击那件事情算一记警告射击；但要阻止全球竞赛，可能需要临时禁止一些提升模型能力的事情。第七条是写给同事的。他说：“你真的想在还没有搞懂一个超级智能的心智之前，就启动一次超级智能的强化学习训练吗？你是觉得反正这事会发生，就埋头干，还是站出来要求换一种条件呢？”他的判断是，到明年年底，在很多最激进的场景下，事情可能已经失控了。
一条辞职帖，把自己公司的底、竞争对手的底、整个行业的底全掀了。可掀底的人不是研究刹车的人，而是亲手踩油门、把模型能力催出来的那个人。那么，考克森到底是谁呢？
一个不要期权的预训练研究员
他是27岁的英国人，剑桥大学数学系出身。但真正让他的话有分量的，是他这三年的打工经历。2023年年初，他进OpenAI做预训练，一直干到今年7月；GPT-4o的系统卡作者名单里有他，GPT-4.5的核心贡献者名单里也有他。这都是可以公开核实的硬证据：这几年全世界最先进的大模型，有一部分能力就是他亲手喂出来的。
今年7月，他跳槽去了Anthropic，原因很朴素：Anthropic是行业里公认最重视安全的那一家。他是奔着安全去的，结果4个月就走了。注意这个时间，他不是待了3年慢慢失望，而是进去4个月就得出结论：这家公司也停不下来。这里有一个细节特别扎心：他的X账号今年1月才注册，一条都没发过，200多万粉丝、几百个关注。一个几百年不说话的账号，开口第一句话就是辞职信，外加末日警告。这不是蹭热度，而是憋了一肚子话，就等着辞职这天才说。
在Anthropic内部，有个Slack频道专门讨论自家模型有多强。他待了4个月，得出一个结论：只要竞争还在，安全和速度之间的取舍就躲不开，没有任何一家公司能够单独做安全。以前喊AI安全的是踩刹车的人，大家觉得你们就是干这个的，干什么吆喝什么，难免会夸张一点，夸大自己工作的重要性。考克森不一样，他是个车手，不是机械师。一个F1车手在休息区说，这车的设计再踩油门就要散架了，这句话的分量跟机械师说完全是两个不同的概念。这样的人说出来的话，你没法用“外行没有看到全貌”直接把他打发走。
这声警告砍向自己的钱袋子
第三个问题：他图什么？他这一嗓子，真的是砍了自己的钱袋子。先把硅谷黄金打工人的账算清楚。OpenAI、Anthropic这种一线实验室的核心研究员，年薪本来就高得吓人，但真正的大头是股票期权，按年、有的按半年逐步归属和成熟。比如给你一笔价值一定金额的期权，每年成熟一部分；成熟的部分离职后依然可以带走，没有成熟的部分则一离职就清零。考克森在这笔账上，两边都挨了刀。
先说OpenAI。他从2023年进去，干了三年多，OpenAI的股票应该已经拿到了一部分。他在辞职帖里点名批评OpenAI，这话一出来，OpenAI的估值是要跌的，他自己的钱包先要缩水。他图什么？图的就是把这话说出来，让人不能质疑他的动机。再说Anthropic这头，更狠。Anthropic员工的期权是6个月归属，他干了4个月就走了，一分钱没拿到。
他接受采访时，原话是这么说的：“抬高Anthropic的估值对于我而言已经没有任何好处了。我在股权归属之前就离开了公司。”离股权到手只差两个月，他说不要就不要了。Anthropic正在冲刺人类历史上最大规模的一次IPO。这串数字听一下：今年2月融资300亿，估值3,800亿美金；5月融资650亿，估值9,650亿；6月1日秘密递交IPO申请；现在市场预期是2万亿美金。8个月估值翻了5倍。
2万亿是什么概念？超过SpaceX的1.75万亿，是史上最大IPO，预计10月中旬挂牌。考克森就是在这个关口走的。他本来可以再等两个月，等股票归属、IPO敲钟，身家千万以上；他没等，而是辞职，然后公开说这家公司没有负责任的行动。为什么说这是巨大的经济利益损失？因为不光是他自己有损失，Anthropic上市招股说明书里还必须披露重大风险。至于什么算重大风险，可能跟大家想的不一样。
公司内部的人接连点头
AI毁灭全人类这件事不算重大风险。为什么？全人类都毁灭了，股票涨跌还有什么意义？没意义了。真正的风险是另外一个东西：将来有人起诉它，说这模型危害人类，股东和投资人要受损失，这才叫重大风险。它容易引起集体诉讼，招股说明书里必须把这件事说清楚；投资人也必须掂量一下，是不是应该给估值打个折扣。考克森现在说的每一句话，将来都是原告律师手里现成的证据。有点像美国警察说的话：你现在说的每一句话，以后都是呈堂证供。
一个马上要上2万亿牌桌的人，牌不要了，走了，临走还回头喊了一嗓子。这一嗓子值多少钱？等10月IPO敲钟那天，去看招股说明书风险披露那一段到底写多长，就知道了。如果只是考克森一个人在喊，这件事到不了这么重要。真正把火点着的，是后面的连锁反应：Anthropic自己人一个一个出来点头。
第一个点头的人分量最重。发帖后几个小时，Anthropic的对齐科学负责人休宾格在帖下公开回复，原话是：“Jacob说得对，我们确实真心相信AI可能杀死所有人类。我个人认为，未来十年内这个概率超过10%。我相信Anthropic在尽最大努力，但我们目前还没有解决超级智能对齐的方案，也没有明显走在解决它的轨道上。”
大家把这句话再读一遍：公司现任核心高管在自家冲刺2万亿IPO的关口，公开承认了三件事。第一，相信AI能杀死全人类，不是让人类受到损害，而是杀死全人类；第二，概率大于10%；第三，我们没有方案。10%是什么概念？就像一架客机每起飞10架，就有一架在半空解体。这种飞机会有人买票吗？但是现在的科技巨头，正拉着全人类往机舱里塞。
而且，休宾格这个10%，比他们老板阿莫迪的官方口径10%到25%还要扎眼，因为后者说的是伤害率，并不是消灭全人类的比例。这在这行当里还是头一回。一般说出这种话来，要么就道歉，要么就滚蛋了，可以看看后面怎么处理。当然，他补了一句：现在模型风险低，我担心的是递归自我改进。AI开始自己造下一代AI，那才是失控的入口。
第二个点头的是Anthropic安全研究员马克斯。他说了一句特别要命的话：一般规律下，员工职级越高越担心。这句话把“个别离职员工偏激”的说法直接堵死了。这不是一个人害怕，而是公司从上到下都有共识。第三个点头的是已经离职的可扩展监督负责人本顿，他专门研究怎么用AI监督AI，属于写解法的那一派。他说，Jacob对整个行业现状的描述确实是准确的。连写解法的人都承认，问题已经到了这一步。
还没完。考克森辞职前两天，OpenAI首席科学家帕霍茨基刚发了一篇名为《异星心智》的万字长文，核心就一句话：目前没有任何实验室把对齐和监管解决到足以负责任地全速扩展的程度。他还说了个吓人的细节：OpenAI押注的思维链监控可靠性正在下降，模型越来越擅长操纵自己的推理过程。你想看到它在想什么，那扇窗正在变模糊。
帕霍茨基是OpenAI技术方向的最终拍板人，伊利尔离职以后由他接班，他算是OpenAI现在的首席科学家。这篇文章跟辞职帖前后脚出来，等于OpenAI自己人也在点头。再加上Anthropic CEO达里奥·阿莫迪本人，这些年反复公开说失控AI风险巨大，给人类造成损失的风险是10%到25%；当然，他并没有说AI要杀死全人类。7月，他还签署了Pacing the Frontier；上千名AI员工也签署了这份文件，要求政府提前准备能踩刹车的工具。
所以，这场戏最荒诞之处在于，Anthropic无法反驳考克森。反驳他，就等于反驳自家的对齐负责人，也等于反驳公司一直用来树立品牌和人设的安全叙事。一家号称安全第一的公司，被自己人连续证伪，公司层面只能沉默，官方一个字都没有说。考克森一个人离开，可以解释为个人选择；一屋子自己人跟着点头，就说明整个公司存在问题，而且是公司自己也知道的问题。
三天过亿的政治与技术共振
第五个问题：一条辞职帖为什么能在3天内过亿？原因有以下几层。第一层来自政治领域。考克森发帖后的24小时内，美国政坛的反应让所有人都看懵了。奥巴马的首席演讲稿撰写人法沃罗转发，只配了一个词：concerning。共和党的大金主、对冲基金大佬阿克曼也转发，并配上同一个词：concerning。一个民主党前白宫核心幕僚和一个MAGA金主，用完全相同的词表达震惊。AI议题第一次跨越左右两派，在24小时内形成即时共振，媒体直接把这个词用作标题。
伊利诺伊州州长普里茨克是2028年总统大选的潜在候选人之一。他在9月9日公开表示，是时候对控制AI发出警报了。两个月前，他刚签署全美第一部要求前沿AI公司接受独立第三方审计的州法律。这一声警报，把AI失控从科技话题拉进了总统竞选议题。随后，杨安泽和桑德斯也表态；桑德斯直接转发并说考克森说得对，应该立法暂停AI开发。
第二层是连马斯克也坐不住了。事情发生后的头两天，马斯克没有出声，所有人都在等他表态。他一方面骂了Anthropic很多年，另一方面刚承认Anthropic显然是AI领先者；而且，马斯克的SpaceX还是Anthropic的算力供应商，关系十分微妙。9月10日，马斯克终于回复一句：Seems like a setup，看起来像设了个局。
考克森当场回击：“我是真人，这些也是我的真实看法。你可以去问问你的xAI研究员认不认识我——如果你没有把他们全都开掉的话。”这成了几天来流传很广的一句回怼。
第三层，也是最重要的一层，是时间。考克森这一嗓子喊在了一个格外巧的节骨眼上。往前数三个月，AI圈里的事件一件接一件冒出来。7月，OpenAI的AI智能体在安全测试中自行发现零日漏洞，逃出隔离环境；几百个智能体协同摸进Hugging Face的服务器。OpenAI将其称为“警告射击”，并暂停了最大规模的强化学习训练。
9月1日，Anthropic发布Fable 5.1和Mythos 5.1，即官方承认的史上网络攻击能力最强模型；它们强到Anthropic自己也把Mythos锁进审核准入清单。9月3日，OpenAI发布GPT-6 Astra，布罗克曼说“欢迎来到AGI时代”，黄仁勋随后宣布AGI已经到来。Astra是OpenAI第一个被评为最高网络安全级别的模型，能够自主发现未知漏洞。
仔细看这份时间表：此前所有人所说的“AI可能有危险”都只是抽象警告，而这三个月里，AI自己冲出了测试环境，模型强到连自家公司都要锁门，官方又亲口宣布AGI已经到来。每一件事都在向失控推进，考克森是最后一块多米诺骨牌。
再看浏览量曲线：发帖12小时后达到5,300万。要注意，他用的是一个新注册、从未发过言、只有几百个关注者的账号。第二天早晨，浏览量达到7,600万；傍晚升至7,900万；9月10日超过1.15亿；到我今天中午写稿时，正奔向1.3亿。一个发帖前只有几百个粉丝的账号，3天引来1.3亿人围观。人们究竟在看什么？看的是一个踩油门的人说刹车坏了，随后造刹车的人站起来说——
刹车没造出来，竞赛也停不下来
对，这个刹车我还没造出来。最后一个问题：这事到底该怎么办，会出台法律强制停掉吗？我个人的判断是不会，因为停不下来。为什么？这要看技术攥在谁手里：谷歌、Meta、xAI、OpenAI、Anthropic，一家比一家大，一家比一家想赢。世界末日之前，首先要考虑的是竞争、生存，怎么活下去。互联网时代已经证明，政府管得住能不能发布、能不能给人用，但是管不住实验室里到底在研究什么；能管的只是上不上得了市、对外能不能卖。
还有个更现实的问题：就算美国停了，中国停吗？这就是这件事情的另外一面。先说一个结论，中国的大模型在总体智力上确实比美国弱，这没什么好避讳的。但是考克森这件事最值得中国人琢磨的是，危险程度跟智力水平是两回事。中国人擅长的是小镇做题家的成长路径，一边蒸馏，一边在特定领域里做专项训练，特别是网络安全领域。结果是什么？论总体智力，中国是有差距的；论危险程度，中美没有差距。
这也解释了为什么这条辞职帖在国内更多被当成“末日论又来了”的瓜来看。中国人总觉得，天塌了有别人顶着。我打个比方：美国那边像是养了一个摸不清性格的杀手，智商高，会拆锁，会使用各种武器，还力大无穷；中国这边养的是一个更笨一点的，但也会拆锁、会用武器、力大无穷，攻击力一点都不差。一个能用武器的疯子和一个同样会用武器、但是笨一点的傻子，一起举着大锤走进瓷器店，瓷器店的下场会有什么区别吗？应该不会。
这让我想起宇树科技的跳舞机器人。大家注意过没有，机器人在快要摔倒的时候会拼命挥舞手脚。为什么？因为程序就是这么写的，挥舞手脚可以稳住身形。它挥舞的时候会不会考虑旁边有瓷器或者有人，自己不能碰着他们？它压根不会想这件事，因为这部分没有写在程序里，所以伤害是必然的。
AI就是这个机器人。它不是处心积虑地要毁灭人类，只是在一个目标上拼命地往前够。人类在乎的那些东西，它看不见，也不在乎。我们觉得这个瓷器很值钱；对于它来说，先别摔倒才重要。在这个过程中，它挥舞手臂把瓷器摔了，反正自己站住了，因为程序就是这么写的。AI追的通常只是一个分数：怎么在这个分数上往前走一点。就像前面OpenAI的AI agent跑出去攻击Hugging Face，也只是为了让分数稍微提高一点点而已。
这个分数通常都是人类给它设定的。等AI为了这个分数把东西搞砸了，损害是不可逆的。这就是终局最冷的地方。说到这里，就绕不开那句话：天塌了有个高的顶着。考克森的第四条写得很清楚：OpenAI想的是，反正我不冲也有人冲，出了事还有Anthropic管着，责任轮不到我；Anthropic想的是，我必须第一个冲到，冲到第一才能制定规则、防止危害，但其实最核心的还是要先冲到第一。
放大到中美两国，其实也是一样的。大家都觉得反正前面有人顶着，这恰恰是考克森说的囚徒困境。放在国家层面上，每个人都在等着别人先停下来，结果就是谁都不会停下来。那怎么办？我的看法跟考克森不太一样。
第一，别指望用一纸法令让它停下来。你让最前面那几家相对负责任的OpenAI、Anthropic停了，结果只会更糟，因为总会有不那么听你话的人继续跑；你不跑，跑的可能就是更没底线的人。第二，更透明、更多监管，这个可以有，也应该有；但是监管的目的是看着它跑，不是拉着它停下来。第三，让有能力制止这件事情的人跑得更快、更远，可能才是阻止毁灭最好的方法。
最后回到考克森。他走了，但1.3亿人围观的那辆赛车还在往前开。开车的人说它刹不住了，坐车的人知道它刹不住了，可谁也没有下车。
这个故事今天就讲到这里，感谢大家收听。请帮忙点赞、点小铃铛，参加Discord讨论群；也欢迎有兴趣、有能力的朋友加入我们的付费频道。
再见。
背景图片
