
Anthropic 的 CEO 达里奥·阿莫代伊又发万字长文,给全人类指点江山了。
大家好,欢迎收听老樊讲故事的 YouTube 频道。卖锤子的人又来设计地震避难所了。Anthropic 的创始人兼 CEO 达里奥·阿莫代伊发了一篇万字长文:《AI 指数级增长的政策建议》。你说你是个公司的 CEO,就算现在是 AI 行业的领军人物,也不至于把政策建议直接发在博客里头呀。你以为你是懂王吗?天天在 Truth 上面治国。
他的核心意思是,AI 已经指数级加速了,但是政策机器还是在慢吞吞地开会。他举了一个例子:在《指环王》里头,树人沟通的效率是很低的。你要想让一个树人跟另外一个树人说明白一件事,他得说一天。但是敌人已经打过来了,怎么办呢?他就提出了这样的一些疑问。
所以他讲到,不能只靠透明度报告和自愿承诺了,要进入强制测试、强制审计,必要的时候要禁止发布。这个文章分成五大块:
- 公共安全;
- 就业与税收;
- AI 正向应用;
- AI 正向应用审批、公民自由;
- 民主国家联盟,或者叫地缘政治。
国内也有人去解读,但是国内一般只敢解读前两块,后边他们就不敢说了,确实稍微有点敏感。媒体普遍认为,Anthropic CEO 达里奥·阿莫代伊认为政府应该有权阻止危险 AI 的部署。
这里最大的反差是,这些问题就是他制造的。制造冲击的人,开始给被冲击的人设计安全带了。他先把风险摊开了:白领失业了,国家失控了,武器自动化了。然后再把好处端出来,说我们可以治病,可以加快经济增长,人类进入新阶段了。这话反正正面反面全让他一人说完了。
Mythos、Fable 5 与“降智”争议

达里奥·阿莫代伊最近干了一个特别神的事,就是他把前边不愿意发布的 Mythos 模型直接扔出来了,而且直接给出了一个很重要的数字,叫 5。前面他们做的大模型,Sonnet 也好,Opus 也好,都是 4、4.5、4.6、4.7,最新的版本是 Opus 4.8。但是这一次他直接扔出两个模型,一个叫做 Mistral 5,另外一个叫做 Fable 5。
Fable 5 实际上就是在 Mythos 5 的基础上进行了一定的限制。如果你去问它一些网络安全问题,问它一些生物学问题,它有可能会拒绝回答你,其他都还是相对比较完整的。现在参加那个波力 e 项目,或者是军方,你可以去用 Mythos。像我们这些普通人,花了 20 美金订阅的人,可以用 Fable 5。
别人为什么骂他呢?不是因为没使上 Mistral,而是 Fable 这个模型降智。就是它为了反蒸馏,一旦发现你有可能在蒸馏它,它就降低智力,骂惨了。今天刚把这个恢复回来,说你们蒸馏吧,我不再降智了。
在这里还要再补充一点,这个 Fable 5 实在是很贵很贵,我下个月就取消订阅了,所以我要把它的额度用光。我今天就给了它一个任务,说去给我写个小游戏吧,用了 40 分钟,把 5 个小时的额度跑光了。它是原来 Opus 4.8 价格的两倍。其实对于我们普通人来说,我们感受不到价格变贵,我们感受的是额度变少。
AI 监管:真实矛盾与三类风险

现在先别急着骂他,他抓住的是真实的矛盾。AI 的能力变化是按月算的,政策的变化通常是按年算的,这个矛盾是真实存在的。他讲到,我们不应该把 AI 当成互联网产品来管,因为这个东西是可能造成很大伤害的。
原来大家按管互联网产品的方式去管理社交网络,去管理很多互联网大厂,因为这个东西就算错了,错了又怎么样嘛?你可能会丢点钱。你说会不会造成人员伤亡呢?也不是说不会,但是毕竟是一个极个别事件。但是 AI 不是这样的,AI 是确确实实有可能造成极大伤亡的,特别是三件事情。
第一,网络安全
现在 Mitchells 在帮各种系统找漏洞,但是就算找了漏洞,其实是于事无补的。为什么?因为大量的陈旧系统是没有能力去升级的。你找到了漏洞反而更危险。原来这个漏洞在哪,大家不知道,也就这么往前走了。现在漏洞找出来了,其他人又没有成本、没有能力去升级,那这个其实很危险。
第二,生物安全
在网络安全之后的下一个安全是什么?是生物安全。这个东西是可以去设计病毒的,是可以去设计药的。这里头万一出点什么事的话,要比网络安全还要吓人。网络安全实在不行,我们还可以去升级,这个人你能升级吗?你不可能说我稀里哗啦给你打一堆疫苗进去吧。所以这个是要比网络安全还危险的。
第三,自我觉醒
第三个危险是什么呢?就是自我觉醒。当然,咱们现在讲到自我觉醒,并不是说 AI 一下就变得像人一样,或者像神一样,而是它在缺乏人类监督的情况下自我发展了,然后做出一些违背人类意愿的决定,而且直接执行了,在这个过程中伤害到人,这个也是很危险的。
所以阿莫代伊认为,如果符合前面这三条,网络安全、生物安全和自主觉醒,以及快速增加这三条风险性的,一共四种风险,如果你的模型已经达到这样程度了,就应该上升一个监管层级。
川普行政令与前置审批
在这一点上,其实他在干嘛?他在应对前一天川普那个行政令。他还专门写了,拍马屁吗这个人:哎呀,川普的行政令做得真好,我们非常喜欢,但是我的一个建议比他更好。
川普的行政令专门写了,说我们不是一个认证机构,是自愿上我这来去做测试的,而且只测试 30 天。你不愿意测试,你也可以发布。达里奥·阿莫代伊就说,你们必须要做这种官方认证,不认证是不可以发布的。他是在强调这件事情。
而且达里奥·阿莫代伊还说,你看我们做了很多努力,我们帮各州建立了很多法律,没有去做联邦法律。像加州,还有很多州的法律,是他们帮忙制定的。这些法律里头也就有一些安全防范的东西了。他说,你看我做得很好,大家要像我这样学习,讲了这样的一堆东西。
而且他还讲到,这个东西最后有可能不是像飞机或者药品,药品也是 FDA 审批才能去吃的嘛。他说这个东西有可能最后会像核武器,到那个时候就还会出现这种叫核不扩散的问题。我这做出来,我不能给别人用,所以这个是要求进行严格管控的。
白领失业、税收与 UBI

第二个问题就是白领失业的问题,这个大家都会比较关注。他说以前的技术上来了以后,确实有人失业,但是这些人会找到新的工作。但是这一次可能真的不一样了。为什么呢?因为 AI 替代了大量的人类认知相关的工作,这些人可能就真的找不到工作了。
他想出了几个办法,这些办法可能稍微有点幼稚。
- 大家一起来想到底应该怎么用 AI。这个事情光让他想,他想不明白了,大家一起想,看看有些什么样的新行业可以做出来。
- 给这些换了岗位的人发保险。比如原来是程序员,现在出去送外卖,薪水明显降低了,就通过一个保险制度把薪水补上,让他继续保持原来的收入,阶层不滑落。
- 做“不裁员税”。就是说公司降本增效,把人都裁了,这事不行,要找你收税。
- 实在搞不定就 UBI,给所有人发钱。在这一点上,他跟 Sam Altman 观点是一致的,Sam Altman 也是惦记玩 UBI,给所有人发钱的。
但是我不知道他的意思是只给程序员变成的外卖员补,还是说给所有的外卖员补。我估计他的意思大概是要给所有的外卖员都去补薪水。这样的话等于是说,所有这些外卖员,所有的这些体力劳动者,原来的薪水是要比程序员低很多的。未来的话,大家的薪水可能就会比程序员不一定高吧,但是至少能够持平。他说这样变化了以后,整个社会效率会下降,成本会上升,但是作为 AI 公司,我们愿意承担这个成本。
算力中心与民众反感
讲到这,他还专门提到了一个东西,就是算力中心。他讲,未来当 AI 发展很快的时候,AI 就像是算力中心里存在的一个由天才构成的国家,一帮天才在这个国家里边去做各种各样的决策。
可是现在民众很讨厌算力中心。原因是什么?不是说因为里头有个天才国家,也不是因为算力中心用了很多电,使大家的电费上涨,主要原因还是因为他们的电价在上涨。你电价上涨,电费一定会上涨的。
他现在讲到,我们还是要改变这件事情的,AI 企业应该为算力中心支付更高的电费,我们愿意付钱,在这个事情上可以去抵消民众对算力中心的反感。
他是特别有意思。他讲说,民众反感算力中心,并不是因为算力中心让他们的电费变贵了,而是他们真实感到了 AI 的威胁,而算力中心是一个非常具体的目标,我们就去讨厌这个东西就可以了。就相当于是谁让我丢了工作,我就讨厌跟他相关的一些很具体的目标。
他说我愿意支付更高的成本,我愿意被征税,我征了税以后给大家去发工资差值的保险,给大家发 UBI 的奖金。这里我觉得他还是有那么一点点私心,这个私心的部分待会后边再讲。
这里头关于算力中心的部分,国内一般就不讲了。咱们只缺芯片,咱不缺电,而且咱们现在在大干快上,我们不觉得建设算力中心会有什么问题。所以他的担忧,咱们不担忧。
AI 成果审批:模型要严,产品要快
再往后,他讲到的是,AI 本身的监管要变严,审核要更严一些,但是 AI 所造成的这些产品,这一块的监管要变快,你们要让它尽快落地。这个很矛盾。
为什么矛盾呢?他讲到,AI 一边在让很多人失业,另外一边我们也在创造很多财富。如果 AI 创造的财富没法尽快落地的话,等于我们光吃了苦,没享着福,这事不行。
AI 创造的财富为什么难以落地呢?比如说 AI 可以去研发很多的生物医药,但是 FDA 这帮做审批的人,他们原来的逻辑是什么呢?就是大量的药物其实是没用的,而且就算有用,也有巨大的副作用。所以他们每一次审批一款药物,需要好几年的时间。但是这不行,我们研究的这些成果,你要尽可能让它批准通过。AI 本身你可以控制它,但是这个 AI 的成果要尽快去批准,这样的话,社会可以提前去享受 AI 带来的便利。所以它的矛盾也在这里。
后边关于审批加快的部分,国内其实也不太说这个事。为什么呢?其实咱们也没有这个问题,因为中国政府是一个讲究大干快上的政府。从执行力角度上说,其实我们是要比欧美政府要强的。很多时候咱们都是先干了再说,有问题以后再找补。所以对于他来说是问题,对于我们来说不是问题。
现在中国各个地方政府都是说,咱们赶快让 AI 来赋能。咱们已经从互联网加到 AI 加了。我们现在没有任何政府惦记给 AI 扯后腿,只要 AI 做出来的东西,咱先上了再说,遇到问题咱们再改。这个是他遇到的问题,跟我们没关系。不同的国情有不同的问题,家家有本难念的经吧。
政府不能拿 AI 为所欲为

下一个问题就更有意思了,属于国内更没法说的事情了:政府也不能拿 AI 为所欲为。这是他提出来的东西。这个是文章里头非常理想主义的一部分,是他讲国家权力和公民自由的一部分。
他担心 AI 会变成威权政府的超级工具,因为政府拿到了 AI 以后,政府的能力会变强嘛。人民在被 AI 武装起来的政府面前,就会变得很弱势。在这,他讲到了几个点:第一个点是全自动武器,第二个点就是政府用 AI 对公民的数据进行监控。实际上这就是前面 Anthropic 跟美国国防部,或者现在叫战争部,主要争论的两个点。
在这里头他讲到了一个案例:当政府下一些错误命令的时候,受过训练的军人是会去拒绝执行的。其实以前美国做过测试,就是向下边的军人下指令,说你现在去按按钮,把那个核武器发射出去。他说大量的军人会拒绝执行这样的命令。不能因为现在有 AI 了,就把这个东西给扔掉,因为 AI 是不会拒绝的。你一旦下了命令,它就直接执行了。
我记得我上学军训的时候唱歌,唱这个《三大纪律八项注意》,训练我们的这个战士就问我们,说你知道最重要的一条是什么吗?或者最根本的一条是什么?当时我们大学生嘛,也不懂,就问他,说是不是不拿群众一针一线呀,还是什么东西?他说都不是,最重要的一条叫服从命令听指挥。你在有命令下来的时候,不需要你判断,让你干嘛就干嘛。你可以不理解,可以有抵触情绪,但是必须要先服从,这是咱们军队的要求。
阿莫代伊要求的就是,军人应该能够自主去判断这个命令是正确的还是错误的,如果他判断是错误的,就不能去执行。那么到 AI 这怎么办呢?他说咱们做一个监管机构,由它来监管 AI。最后应不应该执行这件事,由这个监管机构来说了算。
但前边他跟国防部去吵架,国防部的说法是什么呢?我已经得到授权了,就是由美国整个政府体系给我的权利,让我去负责防卫和战争,你就应该让我去干,你就不要再给我推三阻四了。所以他们的矛盾就在这里。
达里奥·阿莫代伊还讲了一个特别好玩的东西。他讲到,当民众想要去反抗政府的时候,我也要给他提供 AI 服务,而且是要给他提供跟政府一样水平的 AI 服务。就是说在美国,比如说犯罪了,被执法机构抓住了,你可以去请律师。那现在政府手里有 AI 了,我应该可以使用跟政府同等水平的 AI 来对付政府,而不能说我在政府面前就完全是裸奔,这个事是不行的。
所以在这点上,我觉得相对来说比较理想主义吧。这种东西在国内也是没法讨论了,因为咱们这就是政府永远正确,其他人都是无知民众,遇到各种政府决策,必须要坚决执行。所以在这一点上,让达里奥·阿莫代伊他们自己去头疼就好了,跟咱们没什么关系。
地缘政治与“民主国家联盟”

最后就是地缘政治。大家都知道,达里奥·阿莫代伊是非常非常反对中国政府的。他不是反华,因为他自己公司里的华人比例也很高,甚至中国人的比例也很高。但是他很反对中国政府。那为什么反对呢?大家看前面那段就知道。他认为有些政府是威权政府,只把最高的权力、最高的能力都放在政府手里,让民众没有能力去反抗它,而且要求所有这些指令不能被质疑地直接执行。他反对所有这样的政府。
他要求什么呢?就是要做一个叫民主国家联盟。然后他说,我们所有的民主国家联合在一起,我们去研究 AI,我们把这东西搞得很好,让其他这些集权国家,或者叫威权国家,得不到我们的这些研究成果,不能让它使这个东西。因为一旦让它使了,他们政府的能力就变强了,在民众面前就变得更加不平衡了。
所以他要求在这个民主国家的信任联盟里头,我们去共享 AI 能力,共享芯片,共享半导体设备,也要去共享一些 AI 所创造的价值。最后,我们要去限制这些威权国家的关键资源。所以他说,我们绝对不能给中国去卖这个芯片。
限制中国的现实难题
其实在这里头,真正能够去做 AI 研究的,也就是美国和中国,而且美国做 AI 研究你还离不开中国人。整个这些 AI 公司里头,华人比例极高。
前两天还有一个故事,一位被 Meta 刚刚裁员出来的,我不知道是白人还是印度人的工程师在那抱怨,说现在在 Meta 里头没法混了。为什么?他说这帮华人工程师开会的时候说普通话,我在里头根本听不懂。因为华人比例实在太高了,就算有时候他们相对比较礼貌,在他参会的时候会讲英文,但是因为大家也知道,很多在中国受过教育的人英文水平并没有那么高,说不明白的时候,他们就接着讲中文。而且一旦开完了会以后,进入到正常工作环节了,他们就开始讲普通话,他感觉被排挤了。
到最后裁员的时候,就是一帮中国人把非中国人、把不会说普通话的人全给开了,就会出现这样的故事。当然这个事也是一面之词,决定裁员名单的都是比较高层,而这些层级里头,华人比例其实并不是特别高。但是其实你不需要华人参与,因为华人确实出活。其他人没有办法去参与普通话讨论了,那你说你咋出活嘛?
而且中国人还有一个很大的特色是什么呢?就是开会的时候话一般都说不明白,开完了会以后全是事。所以你用英文开完会,到后边再去协作的时候,你不会说普通话,还是搞不定这个问题。
在这样的一个情况下,达里奥·阿莫代伊想对中国进行限制这件事,还是稍微有那么一点点幼稚吧。就算中国大陆境内你买不到 B300,买不到 B200,买不到 H200,其实也不至于买不到吧,最多就是贵一点。就算你能限制,你能限制中国工程师四处流动吗?你自己公司里头也一大堆呢。这些人去了 Anthropic,去了 OpenAI,去了 Meta,他们还在硅谷跳来跳去,跳完了以后,他们还跑到新加坡、跑到马来西亚、跑到欧洲、跑到日本去做各种研究,那你限制谁啊?所以这个限制本身是没有任何意义的。
民主国家联盟也未必听他的
而且他讲的另外一点也很幼稚。他说我们要把所有民主国家都联合在一起。民主国家联合在一起了,大家就愿意听你的吗?别开玩笑了。美国政府愿不愿意听你都不一定,你那些竞争对手,同行业里头的这帮兄弟们都不愿意听你的。欧洲政府还惦记着说接着罚你钱呢。
欧洲政府在互联网时代,把美国互联网大厂挨着个儿罚。谷歌罚完罚苹果,苹果罚完了罚 Meta,罚完 Meta 以后还要去罚 X,挨个罚。你难道说现在建立了一个同盟,我把这个芯片给你了,我把这个 AI 模型给你了,你就不能罚我钱了?开什么玩笑,想得有点太简单了。
Anthropic 为什么要抢规则制定权

那么为什么现在 Anthropic 又要来讲这个话呢?当然一方面是它要去上市了,它要去抢这个规则制定权。它希望在新的时代里,制定规则的时候,它能投上一票。
现在大家普遍认为,AI 的技术革命会形成一个大的社会分配制度的变化。大家要注意,每一次社会分配制度变化的时候,都很难和平地往前走。从原始社会进入到奴隶社会的时候,那是要流血的;从奴隶社会进入封建社会的时候,也是要流血的,是要进行王朝更迭的;从封建社会进入到资本主义社会的时候,英国的立宪会议算是相对比较和平的,法国大革命那就是要流血的呀。
现在 AI 革命来了,又要重新进行社会利益分配了。在这个时候是要制定规则的。那么这个规则怎么定?到底是像英国立宪会议那么个定法,还是像法国大革命那么个定法?所以在这个时候,他跳出来去制定规则,从时代的角度上来说是合理的,只是他写出来的东西稍显幼稚可笑。
竞争对手不会买账
那么他的这些竞争对手怎么看这件事呢?OpenAI、谷歌、xAI 怎么看这个东西?肯定是反对啊。你现在站头一个了,你现在从光脚的变成穿鞋的了,下边所有光脚的想爬上岸的时候,你就一脚把人踹回去,开什么玩笑。
达里奥·阿莫代伊在前面还显摆,说你看我给各个州去制定了一堆规则,他们可以很好地应对 AI 带来的风险了。OpenAI 说,我们就要去向联邦政府交投名状,联邦政府你来管我吧,你要把所有州里边的这些法律都干掉,咱们统一管,不要每个州都立一条规矩。那每个州的那套规矩是谁立的?就是 Anthropic 跟达里奥·阿莫代伊他们立的呀。OpenAI 说咱不能干这活。
达里奥·阿莫代伊说,我们要去做审批制度,不经过审批的模型不能上线。那 xAI 和 Meta 说,不行啊,我们现在落后了,你要再给我做这种审批的话,我就没法竞争了。最后川普把这个行政令签出来的时候说,我们坚决不做任何前置审批,大家还是可以去上线的,只是自愿上我这来去做一些测试而已。
至于对欧洲说我们联盟吧这个事,我觉得也很简单,其实还是有他的商业诉求。就是说你不要像对待谷歌、对待 Meta 那样罚钱,我是来给你们建立民主联盟的,你要好好对待我。
把世界当成可治理系统的理想主义

这篇文章把世界想象成了可治理的系统。其实很多程序员是喜欢干这个活的,因为我们自己每天跟程序打交道,我们觉得有 bug 咱修呗。但是世界并不这么简单。他这套想法有点太理想主义了。他想管模型怎么发布,失业怎么补偿,政府怎么用 AI,民主国家怎么搞结盟,他啥都想管。这已经超过了 CEO 表达观点的范围了,进入了 AI 时代制度架构设计的范围了。
而且在这个过程中,他还有私心:我现在跑老大了,你们都慢一点;欧洲你们不要来罚我的钱,咱们结个盟吧。但问题是什么呢?世界不是像云服务器一样可以重新部署的。像我们写程序,之所以可以说有 bug 可以修,最简单的原因是什么?搞不定我可以 rollback,搞错了我可以回滚回去,而且改什么东西我可以马上测试。这个 bug 改掉了以后,发现有新 bug,我 rollback 回去,或者我再把那个 bug 改掉了,我可以一项一项测。
世界不是这么玩的。这个东西很复杂,政府有政府的权力逻辑,企业有企业的利润逻辑,劳动者也有自己的恐惧。中国、欧洲、美国、印度、中东,都不会因为达里奥写了一篇长文,就进入同一个治理框架里去的。
他还写了说,我们先把最民主的国家放在一起,还有一些不那么民主的国家,他们也会为了进入我们的同盟,把自己变得民主的,最后可能所有的国家都会加入进来,大一统。这个天下大同的事情,孔子就提出过,到现在也没实现。在这个时候你直接把它提出来,我觉得让大家看看也就可以了。
真正值得警惕的是什么

这篇文章真正值得看的是什么呢?是它暴露了 AI 头部公司的野心。他们已经不满足于做产品了,他们想参与制度的设计。其实在每一次这种生产结构或者说分配机制发生变化的时候,代表先进生产力的人都希望参与到制度建设里头去。
过去互联网公司想改变生活方式,今天 AI 公司想改变制度接口。一个改的是你的消费,一个改的是你的国家机器。CEO 的观点其实并不稀奇,CEO 开始按照产品逻辑重构世界了,这才是真正值得警惕的事情。
总结:达里奥代表的是新权力

最后给大家做个总结吧。达里奥·阿莫代伊代表的是新权力。我们不要上来就说,你怎么又来装逼了,你怎么又来装圣母了,不要上来就骂他。你也不要说你有私心怎么怎么样,大家都有私心,你要求别人没有私心,这件事本身就是错了,就违反人性。
所以咱们不要把达里奥·阿莫代伊的文章简单理解成危言耸听或者圣母婊。更准确的说法是,它代表了一种新的权力。这种权力有几层来源。
第一个是模型能力。现在 Anthropic 的模型能力就是最强的,至少在 GPT-5 出来以后,它就是最强。我们期待,当一个公司掌握了足够强的 AI,它自然就会从卖工具走向写规则。因为规则写成什么样,决定了谁能够发模型,谁能够拿算力,谁能够赚钱,谁要交税,谁要被限制。他必须要去制定这个规则,他要让规则对他自己有利,要成为规则的既得利益者,要去限制他的竞争对手,他要干这样的一个事情。
达里奥说的对的一面是什么?AI 确实太快了,政策确实太慢了,白领真的要失业,模型确实有风险。政府滥用这件事,咱们不管他,美国政府滥用了,他要制止;咱们中国政府大干快上就可以了。地缘冲突现在确实存在,短期内也不可能解决。这些都是他说对的部分。
但是达里奥说的比较危险的一面是什么呢?或者说他这个文章里头风险比较大的一面是什么呢?解决这些问题的人,不能由制造这些问题的公司来定义。你可以参与,但是上来你就直接指明道路、指点江山,这个有点过分了。Anthropic 可以参与讨论,但是不能把参与讨论变成规则制定权。他现在真的是上帝视角。
前面黄仁勋就骂他,说有些人做到 CEO 就已经完全以为自己是上帝了。大家现在看完这篇文章,是不是也是有这种感觉?
好,故事今天就讲到这里。感谢大家收听,请帮忙点赞,点小铃铛,参加 Discord 讨论群,也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。
背景图片
