Meta的抢人大战，难道要一地鸡毛了吗？

大家好，欢迎收听“老范讲故事”的YouTube频道。

到底发生了什么呢？跟着亚历山大·王一块入职的ScaleAI的高管，突然因为个人原因离职了。有些人呢，刚被挖过来，屁股还没坐热呢，又离职回去了。ScaleAI被曝出数据质量太差，Meta在采购ScaleAI的数据同时，还去采购了竞争对手的高质量数据。因为大家知道，ScaleAI是做数据标注的，你要想去训练新模型，你就要去采购数据。我这边投了这么多钱了，发现不能使，还得买别人的。

还有什么呢？ScaleAI失去了谷歌和OpenAI这些大客户以后，被爆出来进行了大力的裁员。Meta现在正在使用竞争对手的产品，比如跑去使用ChatGPT、使用Gemini、使用Anthropic的Claude，去使用这玩意儿去了。以及爆出Meta内部的管理非常混乱。

现在是出了这样的一些负面新闻。Meta从收购ScaleAI开始的绝地反击，是不是要变成一地鸡毛了呢？

先别急着下结论，先听我讲几个故事，然后咱们慢慢分析，最后呢，会给大家一个结论的。

关于公司疯狂挖人、并购和整合的故事呢，AI是不是存在泡沫的，在一期直播里头，已经讲了好多相关的故事了。有兴趣的呢，可以去看直播切片。

首先，咱们来讲一下公司并购整合。这本身呢，是一件非常艰巨的任务，成功率从来就没有高过。我个人操作跟遇到过的并购案子，还是相当不少的。碰到的第一个案子是什么呢？就是我在Borland上班的时候，我的老板是惠普合并康柏的时候，从康柏那边被合并进去的。他当时就跟我讲过，两个大公司合并，你要先看以哪个公司为主，哪个公司为辅。当时大家都讲的是合并、合并，实际上是惠普收购了康柏。收购了以后呢，你两个部门的人员确实是合并了，但是惠普的员工是正式的，康柏的员工进去了以后，一般是有6个月的整合期，到了6个月以后，大部分的人就都离开了，只有很少的一部分人留下。

我记得惠普跟康柏并购的时候，惠普还去开经销商大会。因为当时我们是惠普的一个经销商，惠普那个时候拍着胸脯说：“我们可厉害了，我们把康柏合并了。我服务器的份额，惠普占多少，康柏占多少，啪，俩一加，我第一了。”当时这些东西第一都是IBM，他们分别是第二、第三。然后，“我们的硬盘阵列的市场份额，一合并，我又第一了。是各种企业存储设备的市场份额我第一了。包括路由器、交换机，因为惠普跟康柏都生产这些东西，把俩份额一加，我又第一了。”后来呢，我们就知道，这种两个品牌合并之后，并不是说大家简单的把份额加在一块，就变成第一这么简单。你变成了一个品牌了，其他的这些竞争对手，会把你的这些份额吃掉的。

然后我在Borland呢，还碰到了Borland的并购。当时呢，我们的部门被一个叫Embacadero的公司给合并了。合并进去以后呢，当时的两个老大，就是中国区的Country Manager，就直接离职了。原因也很简单，那边没有给你留位置。虽然Embacadero在中国是没有下设机构的，进来以后应该是直接使用Borland在中国的下属机构，但是呢，还是一样的，直接把两个老大干掉，给到补偿也足够多，他们就觉得很开心的，拿到钱出去做自己的事情去了。

再往后呢，就是去猎豹移动，那边因为我自己负责投资了嘛，所以碰到的这种并购的案子就会更多一些，而且很多都是我自己操作的。那并购呢，其实分很多种。

第一种就是人员并购。我花钱把人买回来了。这种并购呢，通常我们做的方式，就是给这个原来的投资人一个交代，你不能告这些创始人。因为并购一般是要创始人的嘛，像ScaleAI其实也是这样，他给了143亿占了49%的股份，把创始人整个都拉走。原来的投资人呢，你就不能去告这些创始人了，他原来的这些竞业条款，你就不能再去要求他了。像亚历山大·王这些人，就可以跑到Meta来干活了。这个就属于HR并购。而HR并购呢，跟着一起过去的这些人，他们是不会分到很大的钱的。他们一般会分到一个叫做人员迁移的奖金，会分到一些新公司的股份，Meta会给他们发股票，一般是这么来去操作的。HR并购进去了以后，就听人家招呼，人家让你组建部门，你就组建部门，人家让你去做哪件事情，你去做就完了，这就是标准的HR并购。

然后呢是业务并购。业务并购可能是大家看到的比较多的，但其实业务并购呢，又分很多种。比如说有用户并购，你有很多的100万用户，我有100万用户，我把你并购下来，咱们就赚200万了。就跟刚才我们讲的惠普跟康柏这种并购似的，他们呢，其实属于竞争对手，两边一并购，说我的份额可以加一块了。这个可能是大家见过比较常见的一种并购方式了。

还有呢，就是上下游并购。比如说我原来是做这个云计算的，我下游有一个做相应的云计算设备的，我每天找他买东西，我就干脆把它买下来算了。或者是像以前我们做流量的，获得了很多流量，那怎么办呢？我们再去买个广告公司吧。有流量了以后，总是要去做一些广告的，我把它买下来。

还有一种是做市值管理的并购，是干嘛？就是猎豹移动跑去上市，说这个不行，我们销售额不够多，怎么办呢？后来说算了，咱们去买一个销售额高的公司，不就完事了吗？然后我们跑去买了一个彩票公司回来，那彩票公司销售额肯定高，这个报表就变得很好看了。

还有一些像跨行并购。像刚才我讲这个买彩票公司呢，其实还不算是跨行并购，因为我们好歹是有流量嘛，可以给彩票公司去投流，或者是直接给它导流，这都还算是上下游的一种玩法。真正跨行并购是什么呢？比如说我是一个水泥厂，我跑去买了一个电影公司，或者我跑去买了一个游戏公司，这种呢叫跨行并购。这种其实很多都是在做市值管理，把这种公司买下来以后，我的估值逻辑就变了。我原来是水泥厂，我的PE是多少倍，现在我买了一个新的电影公司，它的估值是多少倍。但是呢，这个后来在国内不是那么允许了，证监会说：“我也不是傻子，你们骗谁呢？”

还有一些呢就是技术并购。技术并购呢，就是把这些最有技术的人都买回来，包括你的所有的代码、你的专利、你的各种授权文件都给它买回来。但是技术并购最后呢，其实一地鸡毛的也不少。买回来以后发现，这个技术跟我们想象的不是那么一样，或者用不起来，这个可能性都是存在的。

并购到底成功还是失败，应该怎么去衡量这件事呢？刚才我讲了半天，说并购绝大部分都是失败的，那到底怎么算成功，怎么算失败？

其实呢，并购这种事情是有非常多的评判角度的。比如说从财务回报和市值管理的角度去评判，买了个游戏公司回来，我股票涨了，我最后把游戏公司卖了，或者我在里头再空手套白狼，割了一波韭菜，我挣着钱了，那这个你说算成功吗？可以算，这个没有任何问题。

那你说换一个，你说我从战略整合跟业务发展的角度来看呢？你比如说像微软把动视暴雪买下来了，那你说这个事情对于微软来说呢，这可能是一个战略整合成功了，业务也在继续往前发展，他现在在整个的游戏领域里头，又往前迈出了一步。但是对于用户来说，对于暴雪的这些战略来说，可能就是一个巨大的失败，因为很多人家开发了好长时间的项目，被很多人所期待的这些续作就没了，直接被微软给砍了。微软说：“这不符合我的战略，你反正已经被我买下来了，你的战略就已经不重要了。”他会有这样的问题。

对于不同层次的个人诉求来说呢，这种并购就更难说是成功还是失败了。对于大老板来说，他可能财务回报、市值管理是他们最关注的事情，第二个呢，才是战略整合和业务发展。但是呢，对于被收购的人，或者是下面需要跟他们合作的人来说，每一个人就冷暖自知了，每个人有每个人的诉求。

而且呢，时间也是一个很关键的衡量因素。比如一年之内我们看这事成功不成功，两年之内我们看成功不成功，他是一个比较长期需要看的事情。Meta现在干这点事，毕竟也就是一两个月，或者一两周的事情嘛，着啥急嘛。所以呢，还是要给Meta一些时间，看看未来会发展成什么样。

我们来逐一分析一下，Meta遇到的问题到底是哪些呢？

首先大家要注意一点，所有高调并购和抢人，他就必须要背负一个负担是什么？任何的风吹草动都必然会被放大渲染。你如果说我偷偷把这项目买下来了，谁也不知道，那我在内部慢慢整合，中间有一些不愉快，有些人走了，或者甚至有时候闹出一点小的群体事件来，这个很正常，就是你并购完了以后要大裁员嘛。但是只要你前面别太高调，大家也不惦记去传播你这些事。上来传闲话，也得有这个闲话可传，传了以后没人爱听，那谁传？所以像Meta这样高调的，一百四十几亿把这个ScaleAI买下来，再去一亿美金一个人，再去挖一堆人回来，这种一定是被所有人拿放大镜、拿显微镜看着，出任何的小纰漏，大家都会说：“你看，他那出事了。”所以他必须要背负这个后果。合并整合的过程中，出现各种意外情况都是正常的，他就是一个乱哄哄的过程。合并整合绝对不是一个写好计划书，然后按照脚本按部就班执行的过程。

我们来看看都出了点什么事儿。

第一个，和亚历山大·王一起加入ScaleAI的高管离职了。人家反复强调个人原因，说：“我过来以后觉得很愉快，没有任何问题，我就是个人原因要离职。”这个呢，属于洗了，但洗的很拙劣。为什么要洗呢？其实很简单，这个人进来以后，一定是拿了一些迟后交割的股票，或者是一些迟后交割的利益。一般这种并购，特别是这种HR并购，因为我要的是人嘛，签协议的时候，一定要规定好哪些人必须过来。过来的时候呢，我们又不可能说一把把钱都给他。把钱给了，他跑了怎么办？所以呢，要签卖身契，或者说叫对赌协议，也有的时候交割的一些协议，我答应给你多少多少钱，但这钱呢，我一把不给你，我是分多少次以后再给你。甚至呢，如果你这个团队不稳定，其中有一些人走了，别的人的话也会受到一定的损失。他会有这样的这种协议在里头。这个ScaleAI的高管离职的时候呢，你就必须要去圆这个谎，如果不圆这个谎的话，会让很多人，包括他自己都受到损失。所以甭管圆的多么拙劣，他必须得圆。进入大厂呢，一般是叫“一入侯门深似海”，那规矩太多了，原来草台班子那一套，被人家鄙视是必然的。我曾经呢，遇到过一个被百度投资的项目，基本上被百度控制了，里边的一些高管呢，就非常非常不爽。为什么呢？因为百度是一个纯名校精英组成的公司，特别是升到级别稍微高一点的，这些人基本上都是名校精英。你并购了一个公司了以后，这个公司里头可能有一些VP，或者是这些联合创始人呢，性格又没有那么强大，又不是名校精英，你在百度里边去开会的时候，就会感到巨大的压力。所以ScaleAI的一些联合创始人，就是说受不了这个，咱走吧。

第二个问题呢，有两个人吧，刚被挖回来两周就离职了。现在呢，是各大公司都在抢人，不光是Meta在抢，OpenAI、XAI、微软、谷歌都在抢人。可能谷歌还稍微的优雅一点，为什么呢？反正人一开始都是他的，他那人最多，所以呢，他并没有那么着急。其他人全都在抢，在这个时候出现摇摆，也是非常非常正常的。ScaleAI离职的这个联合创始人，以及这两个进了Meta工作没几天就离职的人，你看这名字就不是中国人嘛。也许发现进去以后中国含量太高了，然后自己不会讲中文，大家用中文开会，实在受不了就跑了——这开个玩笑，没有任何真凭实据。因为在这个里头呢，亚历山大·王呢，是从来没有在任何公开场合讲过中文的，他所有开会都是使用英文的。虽然他是一个华裔吧，他父母都是华人，他自己呢，大家猜测他应该是会讲中文的，但是呢，没有公开用过。而扎克伯格本人呢，是肯定会讲中文的，讲的可能没有那么好，但是一定会。因为他当时在国内清华，都是用中文做过演讲的。大家给他的评价叫“勤奋型中文”，就是很努力的讲，讲的荒腔走板的，但是呢，也还在很努力的讲。

被寄予厚望的人，跳过来以后快速离职呢，通常的原因很好理解，叫预期管理没做好。预期管理其实分两块，一块呢是挖人的时候呢，我们要给这个人画大饼：“你到我这来吧，我发的钱可多了。你到我这来以后，你就可以管一摊事，直接向扎克伯格汇报。”就画这种大饼。画大饼的人呢，其实是没有办法对自己画的饼负责任的。我先把人忽悠回来了，真的能实现吗？我负不了这责任。原因也很简单，我投完了项目以后进来，他就变成公司里的一部分。即使是我投完了以后，他成了一个独立的公司，他的各种运作，需要跟猎豹内部去交换各种资源的时候，也不是我说了算的。我可以帮他去协调，但是最终决定的不是我。所以画大饼的这个人，是没有办法对自己的饼负责任的。

另外呢，听到大饼的人，他也不是说拿了我的大饼，然后进行理性的分析，这些人呢，心里一般会再把这个饼再画大一圈，把这个饼呢，画的更符合他们自己想象的样子。最终呢，这个预期管理就有可能会出现问题。那你说这些人为什么不理性的分析一圈呢？原因很简单，我把他忽悠回来了，说明我这个大饼已经把他砸晕了呀，但这时候已经不理性了，所以他就没有理性分析这件事。

还有一个问题是什么呢？画饼一头是跟创始人，或者是我们的目标去画饼，另外一头是什么呢？另外一头我们得跟老板画饼：“老板，这个人可厉害了，原来管什么什么事的，非常非常强。”老板听了我们画的饼以后呢，也要去研究一下，说：“我面试一下吧。”我聊聊，聊完了以后，即使是反复沟通，其实老板也会对目标人物形成一个不那么符合实际的预期。大家看明白了没有？我原来干的活有点像媒婆，就是男方夸完了女方夸，然后两边一过日子，发现不是那么回事。其实很多做战略投资的人，就是干这种事的。就我自己也遇到过，老板把我招进去了，以为我能做一些事情，结果发现我搞不定。我记得当时进到猎豹的时候，我上边的老板是谁？就是徐明，现在做银河航天放卫星那哥们儿。上来以后说：“你给我写个PPT去吧。”我说：“我自己的PPT都是别人给我写的。”我就吭哧吭哧给他写了一个，老板说了嘛，你不能不给他干。写完一看说不能使。也不是说咱做PPT的水平差，而是什么呢？我做PPT的这个风格，跟他这个风格是不一致的。说：“算了我还是用原来用习惯的人，给他接着写PPT吧。”这个其实是很正常的，这事其实搞不定。但这个时候呢，就需要大家都有点耐心，后边呢，应该会有惊喜。就像大家现在听我节目一样，你们听了开头以后，一定要往后听，我一般节目在比较靠后的时候，都是稍有有一点点惊喜的。这个就是双方预期管理失败，就会导致一些人进去了以后，发现不是那么适应就离开了。这个太正常了。

第三个呢，是ScaleAI失去了谷歌、OpenAI这些大客户以后呢，发生了大裁员。据说他们是裁了200多人。人员结构调整，本身这个事儿是一个正常的事情。有些人呢，拿到钱了，留在ScaleAI的人呢，肯定是没有拿到这些钱，他们就不是那么开心。所以呢，同样的一件事情，从他们嘴里再说出来呢，就会显得稍微有一点点小负面。而且刚才我们也讲了，这就是风口浪尖上的事情，140多亿投资ScaleAI，把管理团队拎走，在上亿美金一个人去挖人，所以整个跟这件事情相关的，所有边边角角都在风口浪尖上，出任何事情都会被放大。

第四个，ScaleAI的数据质量差，必须要采购竞争对手的数据。这件事呢，其实我觉得ScaleAI本身的数据质量在业界是有公论的，它就是这种大面的数据，量大管饱。你要真要质量特别好的数据，你还是要到SugarAI或者其他几家去采购去。要注意这种大型的投资并购以后，还有一个很严重的问题是什么？叫公允交易。什么意思呢？Meta现在占了ScaleAI 49%的股份，这就属于是大股东了，或者叫控股大股东了。那么你说，我这个数据明明SugarAI的更好，但是我现在一定要去买ScaleAI的，这个事肯定是不对的。因为毕竟两边都有各自的股东，Meta有Meta的股东，ScaleAI除了Meta之外还有其他股东的。你们之间做交易没问题，但是你说我们之间做一些不公允的交易，那这个事情的话会被起诉的。特别是Meta这样的上市公司，他的股东是可以起诉他。比如我买了Meta股票，我就可以去找律师做联合诉讼：Meta把这个钱给了ScaleAI了，有一些明显ScaleAI的这个产品质次价高的，这个服务你还非要买他的，你不去买别人的，这个事肯定是不行的，是会被判定为关联交易，是会罚款的。所以呢，采购别人的数据这件事情，并不是什么特别大的问题。如果只采购ScaleAI的数据，那才是毛病呢。

第五个，被爆出来Meta内部呢，依赖和使用竞争对手的大模型。他们有些时候使用Anthropic的Claude了，有些时候呢，去使用OpenAI的ChatGPT，有些时候是去使用谷歌的Gemini了。这个呢，其实我觉得是一个好事。每个公司呢，都会尽量的使用自己的产品，特别是在公司内部。不是像刚才我们讲的ScaleAI有一半还在外边，如果他已经完全100%买下来了，那你就老老实实使他自己的就完事了，他还有一半在外边呢，你在这个时候说我一定要用他的产品，这个事是有问题的。大公司咱们就举一个最简单的例子吧，IM，就是咱们使用微信、QQ这些产品，各大公司自己内部实际上都有自己的IM。百度的IM叫HI，百度员工只要是公司相关的事情进行沟通，都必须要用百度HI。小米呢，要用米聊。阿里呢，要用钉钉，其实阿里原来是用旺旺的，后来呢，是做了一个产品叫来往，那个产品作废了。来往的团队呢，后来转型做了钉钉。来往的负责人就是现在这个吴钊，半夜到办公室溜达，发现没人上班，说：“你们怎么都这么早就走了？”这个哥们。字节呢，用飞书，这是正常的，因为自己家的产品嘛。腾讯呢，现在在用企业微信。美团呢，原来使用的这个产品叫大象，后来呢，叫做美团协作，完全自己开发的。拼多多的内部开发了一套叫Knock（敲门的那个意思）。所以大家都要用自己的。在这种时候呢，能够打破桎梏，说我们内部去编程，去做各种的工作的时候，不去用Llama——反正Llama已经翻车了，大家也认这件事了——自由的选择最优解，这个呢，其实是创业公司比较喜欢干的事情。新团队新气象，一定要打破这些旧的条条框框，从这开始。所以呢，他们现在去使用竞争对手的产品，不是什么大问题。你除非哪天Meta说：“我Llama不做了，我以后就是在GPT基础上接着往前走了。”我相信扎克伯格不会干这个事。就算他说我准备干这件事，那山姆·奥特曼也得看同不同意。我这要发GPT-5的时候，你一亿一亿的从我这把这个人都挖走了，这恨还没去呢，新仇旧恨都在这呢。这个两边都没有那么放心。小规模的自己内部用一用是没问题的，未来的产品肯定还是要单独去做的。

至于最后一个，Meta AI这一块内部管理混乱呢，这个不是什么大事，这才几天，乱就对了。如果真的是四平八稳往前走的话，这样的公司整合大概经常会整一两年，甚至有的会整合两三年，这个扎克伯格肯定是没有这功夫的。这种大规模并购整合一两个月，现在这个状态其实已经算不错了。

那么结论是什么呢？到底是不是一地鸡毛呢？讲到这了，没讲结论。毕竟是听床，听床呢，就只能是通过流传出来的蛛丝马迹，以及过往的经验进行判断。哪怕是我在里头有认识人，我去问了几个人，每一个人的角度都不一样，都是在瞎子摸象，跟在网上看到蛛丝马迹，也没有那么大的区别。所以呢，我一定要跟大家讲清楚，我这个结论呢，是一个拍脑袋的听床结论。

结论就是：Meta未来大概率会成为一地鸡毛。这个是我的结论。因为这种整合呢，失败率实在太高了。越是被人关注，越是着急，失败率就越高。而Meta现在这两条都占了，非常非常着急，号称年底要出东西，这么高调，花这么大钱出去砸，被所有人所关注到。所以呢，他这件事想做成，实在是太难了。

那说了半天，后边的瓜怎么吃？第一个，失败是正常的，大家一定要记住。第二个呢，我们要寻找成功的迹象，这才是异常的。我们要去看看未来能够做成哪些事情，才可以继续去吃这个瓜。Meta呢，现在据说在跟Midjourney谈合作。好矛盾，买下来呢，Meta多模态肯定会起飞。但是呢，如果Meta真的把Midjourney买下来了，更大的可能是Midjourney会被玩坏掉，因为这种整合失败率实在太高了。最终呢，我们要看新的产品发布，有可能年底会看到Llama 5。Llama 4这件事情已经无可挽回了，也不建议在上头再浪费功夫了，所以就直接Llama 5就完事了。如果年底能够出Llama 5，是骡子是马，总要拉出来遛一遛，才能够有结论嘛。

好，这就是今天的故事。感谢大家收听，请帮忙点赞、点小铃铛、参加DISCORD讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

马斯克终于开源了他的Grok-2。虽迟但到，这背后隐藏着哪些不为人知的秘密呢？

大家好，欢迎收听老范讲故事的YouTube频道。

马斯克最终还是开源了他的Grok-2。原来我们还嘲笑过他，Grok-1开源完了，往那一扔就再也不管它了，有任何人提问题，你也不说什么。Grok 4都出来了，现在Grok 2都没开源出来。马斯克说：“那我们下周开源。”当时是这么讲的。然而下周完了以后，好像还是又等了那么一段时间，稍微晚了这么几天吧，Grok 2最终还是开源出来了。而且承诺呢，6个月之内，或者说在年底之前吧，有可能会去开源Grok 3。但是马斯克的话嘛，大家相信，就是他说了的事会做，但是未必按时间做。

马斯克的开源呢，只能算是符合非常广义的开源。这话什么意思呢？开源也是分原教旨主义者的，他们是肯定不会认可马斯克在开源的。第一个，马斯克不是当时发布产品马上开源，而是要过一段时间，甚至是过了一年多才去开源。而且现在他开源出来的这个版本，远远落后于当前主流模型。当然Grok 2呢也不算特别落后，它在当时刚推出的时候，应该是跟GPT-4不相上下的一个水平，但是跟后边4O，以及后边O1、O2这些东西就没法比了。跟当前的主流模型，像什么GPT-5、Grok-4、Claude 4或者是Gemini 2.5这些，它是比不过的。

而且呢，马斯克开源出来的这个大模型，对于部署是非常不友好的。你要想去把它的大模型下载下来，把它部署到自己的服务器上去，这个是非常非常痛苦的。这个大小是500G，需要在Huggingface上做断点续传。Huggingface是大模型领域里边的开源仓库嘛，你需要把这500G的文件从那上头慢慢往下传下来，错了没关系，继续再来几次。他专门给大家写了这样的一个话。

而且运行的时候呢，需要8张40G以上显存的显卡才能跑起来。8张40G以上显存的显卡什么意思呢？在国内合法可以跑的这个显卡是H800、H20、RTX 6000。你说我拿5090D跑行不行？这是为中国专门量身定做的5090，跑不起来。5090D呢是24G显存，把这个D去了，也就是国际上正常的5090是32G显存，也跑着费劲。而且呢，5090跟前面我们讲的H20比，有一个巨大的差异是什么？它没有Nvlink，卡跟卡之间的通信是很慢的。而H20这种专门的算力卡，里边是有Nvlink的，八块卡搁在一起，它还可以快速的跑起来。

当然了，Grok 2呢不是特别不友好，你像在那个当时还有一个跟Grok 2前后脚发布的产品，叫Deepseek V2，那个版本当时开源出来的时候是需要8张80G的显存的显卡才可以跑起来。这个Grok 2只需要8张40G显存的显卡就可以跑起来了。为什么会有这样的差距呢？原因很简单，当时的Deepseek V2是FP16的，而现在的Grok 2的话是FP8的，所以它会要更加的省显存一点点。

现在开源出来的呢叫Grok 2.5，并不是真正的Grok 2。它必须使用叫SGLANG的这样的一个系统来去部署。这个里边呢就会有很多故事了。大家注意，Grok 1并没有这样的要求，Grok 1使用的是Jax系统部署的。Jax是谷歌的系统。咱们待会就围绕这个SGLANG，来讲一讲它这个故事到底在哪。

马斯克的开源跟其他人开源不一样，就是他把东西开出来以后，基本上就不闻不问了。你其他人开源出来以后，你去提意见，说我哪遇到问题了，开源出来的这些公司还是要去修修补补的，调整一些东西的。马斯克就甭管是它前面的Twitter的推荐算法，还是Grok 1开源出来以后，就再也没人说这事了。你提任何事情，他都不理你，也不会做任何更新，就是这样的一种开源。

而且呢，它的开源参数呢也没有完全公开。你像Deepseek这些，都是直接告诉你我有多少参数，如何去部署，怎么去用这个东西，甚至连论文什么一块扔出来。马斯克就是我把东西扔这了，你们自己谁爱用谁用去。现在呢，大家只能通过下载的模型去猜测，它呢应该是一个269B的模型，是一个挺大的模型。

license呢也是严苛的，商务社区版本的license。所有的开源项目，你都是要有开源license，就是我拿这开源项目以后，什么事许干，什么事不许干。它这个Grok 2是不允许商用的。你就算是把它放在自己的产品里用，你说我不商用，没有达到大规模使用的这个程度，你也要在里边写上“powered by XAI”，这个都是要注明的。一旦超过了它一个使用限制以后，这个事就没法整了。Grok 1是阿帕奇2.0的license，还是一个完全开源的产品，但是到Grok 2就不是了，就已经变成了这种商业许可的产品了。

国际上面是有这种商业许可限制的大模型呢，像Llama其实是有限制的，那个也是有规定的，就是你用户量达到多少以上，你就不可以再去使用了。你拿去做一些研究是OK的，但是呢你不可以拿Llama再去训练新的模型。但是这个东西呢，说也是叫防君子不防小人吧，Llama 1开源，全中国的这些开源大模型就如雨后春笋一样夸夸就出来了。所以你去写说不允许训练其他模型，不允许去优化自己产品，不允许去商业使用这些事，反正你说着开心就好了。Grok 2呢也是这样的一份协议，大家说着开心就好了。但是差异在哪呢？就是Llama当时发布的时候是当时最领先的模型，大家会去照着去学习；但是Grok 2发布的时候就已经是去年的模型了，反正你算是开过源了吧，也就如此了。国内的模型呢，像Deepseek、千问这些，基本上都是MIT或者是阿帕奇的这种license，就是你可以拿去使，可以商用，可以自己去修改，拿它去干嘛我就不管了。所以跟他们还是有很大区别的。

咱们后边讲这个SGLANG到底是一个什么样的系统呢？它的名字是一个缩写，叫结构化生成语言。S是structure，G是general，LANG是这个language，它大概是这么三个单词拼在一起了。它的开发者呢，两个主要开发者，一个叫郑连敏，一个叫尹良生，听着像中国人吧？郑连敏呢是上海交大的本科，UC伯克利的博士，他现在就是Xai的工程师，在Xai里头主要就负责SGLANG这个版本的继续推进。明年7月份呢，会加入到UCLA任助理教授，现在UCLA的官网上已经把他的名字写上了。像美国的这些大厂里边的科学家，或者是这种大工程师呢，都会有这种两边来回流动的一个过程，去上两学期课，然后呢回来做一段时间的研究，很多的美国这些大厂的顶尖科学家是这么工作的。另外一个呢叫尹良生，尹良生呢是上海交大的本科，2025年从上海交大毕业，就是今年毕业，已经拿到了UC伯克利的博士生入学许可，准备到那儿接着去读博士了。

他们两个人写的这套系统。那你说老范，你是不是要讲中国人好厉害？比大家想象的可能还要再稍微厉害那么一点点。本身XAI里边这个中国人的比例就非常非常高，咱们这讲的是中国人，不是广泛的意义上的华人，就是从国内去的这帮人，比如清华、北大或者上海交大这些地方学完了去的，他们可能在美国读的博士，然后就在XAI里边去上班了。

但是这个项目还不太一样，咱们去稍微捋一捋这个SGLANG的一个发展历程。他是2023年12月12号发表的SGLANG的论文，当时呢郑连敏应该是在UC伯克利读博士，而尹良生应该是在上海交大还在上本科，他们两个人呢联合署名做了这样的一篇论文。到2024年5月份，Deepseek V2发布，236B的一个大模型，每次激活21B的参数。他们呢就说我们要去升级我们的版本，大概是到9月份，这个SGLANG就升级好了，专门对Deepseek进行了优化。SGLANG是Deepseek最优化的一个运行平台，你在其他平台上跑这个Deepseek都没有在SGLANG上跑得快。到2024年的8月份，Grok-2发布了，269B，每次激活115B。这个时候呢，郑连敏应该已经从UC伯克利博士毕业了，已经到了XAI去上班去了。2024年的12月份，SGLANG继续升级，这个升级是为了支持Deepseek V3的。Deepseek V3呢是2024年12月份发布的671B的一个大模型，包括后边我们讲的Deepseek R1，都是在Deepseek V3的基础上进行训练的。Deepseek最近刚出的V3.1还是671B，所以呢这都是一个系列的模型。2024年12月份还发生了一个什么事呢？grok V3发布。

大家按这个线去捋，你就基本上可以发现，Grok 1做的时候，马斯克还是满眼抓瞎的时候，不知道该怎么弄，拿着这个JAX就开干了。另外一个拿JAX开干的是谁？是苹果。苹果那个时候也是举着JAX就开干了，最后呢做出来的一个产品，但是效果一般。这个时候Deepseek大量的这种MOE模型的开源的东西就出来了，包括后面的论文什么就都出来了。上海交大这两位同学吧，他就开始去写这个SGLANG，专门针对这种MOE的模型进行优化。马斯克觉得这条路不错，那咱就干脆把这个团队招到我这来，你给我去好好维护这个SGLANG的版本，我们也在这个基础上，去训练我们的模型。

你说这个里头有抄袭没有？还是说有借鉴？我觉得说借鉴还是比较合理的。因为你去做新的研究的时候，你总要看论文吧？梁文峰写了那么多论文，你也得看。看完了以后，你说我受这个影响了，照这个方向去往前发展，这个本身没有任何问题。咱们不要老觉得说不是原创就怎么怎么样，别老想着这事。

所以从这看呢，Grok跟Deepseek还是很有缘分的。Grok 2跟Deepseek V2、V2.5，它们之间其实是有非常相近的地方。再到Grok 3跟Deepseek V3，也是有很多相近的地方了，有相互借鉴的地方。可能更多的是Grok去借鉴Deepseek，因为Grok每次出新版本的时候，它不开源也不开放出来，他要过一年以后才开放；而Deepseek每次拿出点什么东西，马上都开放了。所以这个到底谁去借鉴谁，大家自己心里去想。

其实呢，这就是开源生态的一种发展方式。很多人在讲什么“美国人一开源，中国人就自主研发、自主知识产权了”，这可不是这么回事的。开源了，我们就可以在开源协议的允许范围内去使用这些代码，甚至是去修改这些代码，再发行这些代码。他只要是协议允许你干这个事，你就可以去干。我干完了以后，我去注明了，说我是用了人家的代码，我把它写清楚就完事了。就算是前面翻车那盘古大模型，上头也写了“我用了别人东西”。但是中国人有时候没法接受这事，你说你都叫盘古了，你好意思你用别人的吗？前两天华为云内部的架构大调整，把整个的盘古这个团队全开掉了，以后这个丢人现眼的东西咱不弄了。前边别人说盘古去抄袭了，华为还在那义正词严的在那辟谣呢，辟完谣以后沉寂了俩月，直接把团队给开了。你说这玩意叫啥事？

我觉得我们应该很好的去接受这种开源生态，而不是说我一定要原创，我从来没有抄过，我从来没有用过别人，这个是相对来说比较狭隘的。你像Deepseek发了论文，公开了参数，SGLANG呢肯定是以这些公开信息为基础进行了优化。Xai呢也在这个过程中呢转型，在SGLANG基础上用同样的系统进行优化。大家走的路呢又不是完全一样，Deepseek还是要更多的考虑到算力紧张，没有NVlink的情况下，这个性能到底怎么样，到底怎么把它跑起来。Grok那就是土豪家的败家子，有的是卡，最新最好的卡，而且还有工程师爸爸负责部署和实施。他还跟微软、Oracle这些公司不一样，那些公司还需要外包，找别人去给部署。那马斯克干这玩意，肯定是没有任何问题的，因为他从特斯拉的时候就开始部署这种超算的集群，非常非常有经验。所以他可以把最好的卡、最新的卡拎回来进行部署，而且量大管饱。现在马斯克已经说，我们注册一公司叫“巨硬”，准备买上百万块的显卡，接着往前走。

马斯克算迎头赶上了，用Deepseek没有的资源，直接暴力推进。我们前面在讲Deepseek的时候就已经讲过了，马斯克肯定会照着往前冲的。苹果啥也没干，其实苹果在做大模型这块跟XAI是同时起步的，都是从JAX这开始起步的，但是苹果最后啥也没出来，马斯克这边都做出来了。梅塔呢还在老路上面去蹉跎前行，未来到底怎么走还不知道。所以呢，别人都开源了，谁你抄的好、抄的不好，或者在这个基础上到底能不能做出新东西来？我相信Grok还是创新的，我并不是说我就指责了，说“Grok你就是抄Deepseek”，没有说这话。还是得看谁可以把这个工程往前推的更远，这个才是本事。

国内的模型厂商的话，你说他们没有借鉴Deepseek吗？肯定借鉴了。他们只是说太多东西要抄了，到底抄谁的呀？这个是真正国内厂商要去头疼的事情。大家发现了，Deepseek V2的版本其实并没有那么热，到V2.5开始这个热度一下就上来了。就是从Deepseek V2.5开始，很多的国内厂商就开始转型，说我们是不是去看一看，像百度什么，他们就已经开始转型了。等到Deepseek V3出来的时候，其实就已经很热很热了。当然对于整个的行业来说，或者说对于社会来说，圈外的人真正知道Deepseek是从Deepseek R1，就是从今年1月份才开始知道这个事儿。但是从去年12月份的Deepseek V3开始，在这个程序员圈里头，在这个行业内呢，大家就已经普遍认知了，这就是一个当前最好的框架了。所以当时很多的团队就都已经都转过来了。现在Kimi k2、mini Max M1、百度的这个4.5、智谱的4.5，其实都是按照一个模式做出来的。但你说它们都是抄袭的，我觉得大家不要想这个事。大家呢都在同样的看论文，都在一个可能同学圈或者是朋友圈里边去，大家一块可能平时喝个咖啡、聊个天什么的，他是这样的一个环境。

国内大模型厂商也是相互借鉴。你看谷歌、微软，他们肯定也会去读论文，他们去做新的研究、去做新的产品的时候，“这Deepseek写的，中国人写的，我不看”，他们也不会这样的，没有那么狭隘。

今天我其实主要跟大家讲的是这样：开源才是未来的一个方向。不要上来说你抄袭，不尊重原创，这太狭隘了。咱们最后总结一下：开源是当今世界比较先进的全球化、松散协作方式。大家注意我刚才讲的这些定语：全球化、松散协作。开源呢推动了互联网、移动互联网和今天的大模型的整个产业的升级。Deepseek呢在里头起到了巨大的推动作用，包括咱们今天讲的SGLANG，都是在开源大潮里边起到了巨大的作用。

马斯克的Grok开源呢，基本上没有为社区贡献太多的东西，毕竟是去年4月份的东西嘛，还是稍微差一些的。马斯克喊开源呢，主要还是为了要吸引眼球。第一方面呢是恶心OpenAI。当然OpenAI现在人家也开源了，把GPT OSS拿出来了。但GPT OSS要比现在开源的Grok 2要强非常非常多，因为GPT OSS是大家可以用的一个产品，不是像Grok 2这样的，没有人会去用它。为什么没有人用？因为部署起来成本非常高，还是一个旧模型。我花了这么多成本，我去部署Deepseek V3.1不行吗？所以他就不想让别人用，也不想让任何人占他便宜。

马斯克现在想干的活呢，就是让更多的人去用他的Grok服务。而且呢也希望在未来呢，让更多的人呢去用他的这个巨硬的产品。那你说巨硬到底做什么的？前面他专门申请了一个商标叫巨硬，就专门为了恶心微软的，“你叫微软我叫巨硬”。一开始以为马斯克就是开个玩笑，或者说出来嘲讽一下比尔盖茨，没想着他真在里头干活。现在说了，我们这巨硬公司是真的要干活了，而且呢干这方向呢，也是大家熟悉的方向，他要做manos，就是做agent。说以后你微软的这些产品，我通通都拿各种各样的AI agent给你覆盖掉。你做了office，我就给你做个AI agent，跟他说你给我写一PPT或者给我写一什么东西，他吭哧吭哧给我写好了，我就不需要那么复杂的叫做office这些东西了。他是搞了这么一套东西出来。

大模型在不断创造内容的过程中呢，其实也在不断的污染大模型被发明之后的语言环境。所以呢，中国的创业公司跟开发者，也在不断的创造新的技术，创造新的内容。在这个过程中，再通过开发者社区或者通过开源社区，不断的将这些新的思想拿出来，去影响全球的科技发展，为全球科技发展添砖加瓦。不要想着说脱钩断链，说我们不要中国人的思考，我们不要中国人的技术，这个玩意是有毒，这个世界不是这么发展的。

咱们今天通过Grok 2的这个发布，通过Grok 2使用的SGLANG的这个平台的一个历程，你就会看到在这个过程中的话，你需要上海交大的学生来去给你写这些系统，你也需要去借鉴Deepseek的论文、借鉴他的一些思路去训练自己的模型。而且这个节奏是一模一样的，这边出Deepseek V2，那边过几个月出这个Grok 2；然后那边出Deepseek V3，你同一个月出Grok 3。这个就是同样的节奏，一模一样的往前走。所以这是一个进步的过程，别老想着谁抄谁的事。

好，今天这故事讲到这里，感谢大家收听。请帮忙点赞、点小铃铛、参加DISCORD讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

OpenAI再次开源，中美AI竞争加剧，这一次体现在了不同的开源策略上。

大家好，欢迎收听老范讲故事的YouTube频道。

OpenAI再次开源，这一次发布的版本叫GPT-OSS (Open Source System)，8月5号突然上线了。这一次又不是GPT-5，我们从7月份就开始等GPT-5，现在已经等得大家开始胡思乱想了。很多人猜，说为什么出不来。现在最新的说法是48小时之内出来，等等看吧。

这一次呢，开出来的是GPT-OSS，是一个开源模型，20B和120B两种参数。它呢，是一个MOE模型，就是混合专家模型。其实在GPT-4的时候呢，大家就已经猜测它开始使用混合专家模型了，只是呢它不开源，大家只能猜。现在开出来了MOE推理模型，是有COT的思维链，是直接给大家展示出来的。而且呢，是一个文本模型，没有多模态的东西。上下文比较长，128K的上下文，要比国内的一些开源模型还要再长一些。因为现在没办法，你要使用工具、使用MCP，没有足够长的上下文，你是跑不起来的。所以呢，这一次的GPT-OSS说，我们很擅长使用工具，有的时候有点太擅长了。因为我测试的时候，有的时候工具调用次数非常多，直接就把自己的上下文填满了，这种情况也是不少的。

这一次呢，创新性地使用了MXFP4的一个量化，这是它最新的一个技术。首先要讲一下MXFP4的这个训练。我们以前使用的模型，千问、DeepSeek这些模型呢，我们都是使用的FP16去进行训练的，有的甚至是FP32去进行训练。就是我们把每一个数码位上的指针都做得​​很长，非常非常精确。这个好处是什么呢？就是你训练的时候，可以很精确地去进行训练。你再去推理的时候呢，我们再想办法把它这些数据呢，做成FP8，就是做成8位的一个短指针，速度就会快很多，而且呢，在这个缩短的过程中呢，精度损失的也不是很大。原来我们都是这么来干的。但是呢，这一次的GPT-OSS呢，他们使用了一种4位的指针，更短小一些。而且呢，它跟以前不一样，原来都是用比较长的数码位去进行训练，训练以后再去进行缩短。这一次直接训练的时候，就是4位的，出来就当4位的使，他是这样来去工作的。这个好处是什么呢？就是特别地节省空间，它的速度很快，我在本地测试的时候已经感受到了。

它呢，没有做蒸馏。原来大家都在想，GPT-OSS是不是直接拿GPT-4o，或者拿什么样的这个数据去蒸馏一下就可以了？因为OpenAI手里有很多这些大模型嘛。它并没有去做蒸馏，是从头开始原生训练的一个大模型。用了数万亿TOKEN的纯文本，重点覆盖STEAM、代码和通识知识。主要是拿这些东西训练。它呢，使用了GPT-4o的CBRN过滤器来清洗有害内容。在这里要专门讲一下，GPT-OSS的道德感还是很高的哈，所以呢，不要想着它到本地了，我们就可以拿它随便做一些什么样的事情，它会拒绝大量的指令的。它的知识呢，是截止到2024年6月，再往后的知识是没有的。你说我想处理一些新的知识怎么办？没有问题，因为它调用搜索、它调用工具的能力很强，所以你可以先命令它搜索，然后再去总结。

在进行了预训练之后呢，使用了与GPT-3相同的COT强化学习的数据进行训练，它就可以进行COT的输出。所以这是一个推理模型。两个版本的模型，一个20B，一个120B。20B呢，它的效能相当于GPT-3 mini，其实对于很多的本地工作来说，已经够使了，效果我刚才试了还是相当不错的。120B呢，相当于GPT-4 mini的水平，这也是我们普通的plus用户可以在GPT.com的这个网站上使用的最高版本的推理模型。实际上它那个上面最强的模型，我们能用的应该是GPT-4o全量模型。

20B呢，我装了，效果不错，速度飞起。比我本机跑的各种的30B模型、32B的模型要快非常多，甚至比一些十几B的模型速度还要快。产出的内容的质量，要比那些三十几B的，像千问模型要好很大一些。这个是我的一个主观的感受吧。我呢，是用Ollama直接在我的MacBook Pro 32G内存的笔记本上跑起来的。据说呢，这个东西是可以在16G内存的笔记本上跑，但是我没有测试，因为我们家没有这么低内存的电脑。

至于120B的话，这就不是我应该用的东西。为啥呢？它需要80G的显存，咱们没有这东西，是小团队在服务器上用的东西，这个不是给普通人在电脑上用的。你说我一定要去买一个Mac studio，或者我在本机去装4090装好几块，这个东西也是可以跑，但是真的没有什么必要。

那你说云端有没有？云端你现在上OpenRouter等等这些网站呢，是提供120B的模型的。但是我都上了云端了，谁用这玩意儿？我直接用GPT的大模型不就完了吗？所以呢，120B的模型对于我们这种个人玩家来说，稍显尴尬。但是你说我是一个小团队，我有一些信息不可以出办公室，你可以专门搭一台服务器来跑120B的模型。

中国的云端大模型托管服务上呢，目前都没上。这个它虽然是使用Apache 2.0协议，国内的这些像阿里云、硅基流动或者像火山云，你都可以去用，这个事他是不管的，至少这个协议是允许我们去用的。而且呢，这个Apache 2.0，我们不但可以用这个模型，还可以商用，还可以去修改这个模型，都不需要他的同意。但是呢，在中国有另外一个比较麻烦的是什么呢？就是谁把这个大模型包装出来给公众去使用了，谁需要去申请牌照，是需要申请合规的。上一个新的模型测试、申请合规的过程的话，还是有一些成本，所以现在大家还没有上。其实像Llama系列的模型，国内的这些云服务商上基本上都还是有的，也可以用。但是呢，每次上一个新的，这块我们没有那么快。国外的像Open Router什么的就已经上来了，第一天出来，第二天就直接可以上来使。中国的要求呢，不是说谁出大模型谁要去申请牌照，而是谁拿着这大模型出去给人服务，谁需要去申请牌照。你比如说，DeepSeek说我今天开源模型了，你不需要申请牌照；但是你说DeepSeek提供了API、提供了聊天窗口，要跟人服务了，这个你需要申请牌照。它是这样的一个工作逻辑。

那OpenAI为什么时隔这么多年又去开源了呢？原因也很简单。总有一些机构呢，不希望自己的数据离开可控的网络，不希望说这个数据跑到外网上被OpenAI学习了。最近OpenAI好像还有一个聊天提示词泄露的事情，这个事情是大家不希望的。前面包括三星还有很多的海外公司，使用OpenAI的时候都发生过泄漏情况。但是这种泄漏呢，其实很多是他们的防火墙爆出来的：“我发现你把一些公司敏感信息发到外网去了”，这个时候防火墙就会报警。但是你说我发到OpenAI以后，OpenAI是不是再去用这个数据，或者是不是拿这个数据再去训练模型了，或者再去传播了？这个事呢，反正OpenAI对外的承诺是它不做这个事，但是这个不好说嘛，有些人我们未必信得过他。所以有一些机构说，我一定要本地模型。原来这个生意OpenAI是不做的，现在呢，说我们这块也得做着，我们也要抢这个生意。20B呢，本机运行；120B呢，内部服务器运行，可以很好地解决这些敏感单位的需求。

而且呢，20B也好，120B的模型呢，还可以进行微调。微调了以后，你可以拿它去进行法务、医疗等等这种特殊需求的应用。而这儿呢，要稍微提醒大家一句，前头我们讲，GPT-OSS是有非常高的道德水平的。你一旦微调了以后，这个道德水平就不好说了，有可能GPT-OSS震碎三观，从此堕入黑暗的可能性是存在的。但是呢，那个就是你们各自自己负责任了，跟OpenAI就没什么关系了。

咱们呢，讲到这再讲一讲，中美之间到底是怎么去进行竞争的呢？美国人出了这个东西，不是美国人赢了吗？不是这样的。中美之间呢，有四种不同的开源策略。

第一种呢，是混沌模式。甭管什么样的东西，我先开了再说，开完了以后，你们爱怎么用怎么用。这个是谁呢？Llama就这么干的。Llama 1、Llama 2、Llama 3、Llama 4，都是上来我就开了，开完了以后你们拿去用吧，我就不管了。但是到目前为止呢，发现这条路可能走不太通。扎克伯格捞了一大堆的人以后，说我们是不是不开源了，重新思考一下未来该怎么走的问题，稍显可惜。

第二种模式呢，叫做“开旧闭新”模式。就是呢，我把这个新模型闭源了，我把老模型把它开源出来。谁干这活呢？就是马斯克，xAI就干这个活。他现在呢，是Grok-1开源的，2、3、4都是闭源的。但是马斯克呢，应该是昨天讲的吧，说我们近期准备把Grok-2也开源出来，那就3和4是闭源的。对于他来说呢，他的这个策略很简单，就是开源这一扇大旗我还是要扛着的，但是呢，如果你们想要用最新的模型，你就老老实实上我这来交钱，来把数据交到xAI的服务器上去进行运算。所以马斯克这个xAI呢，我一直评论它是一个假开源，他并不希望别人真的拿这个东西去做点什么事儿，只是说“我还开着呢”。

第三种模式呢，就是OpenAI现在做这个事儿，叫“开小闭大”。它的GPT-3、GPT-4这些东西呢，是闭源模型，GPT-4o也是闭源模型。同时呢，它开了一个小模型叫GPT-OSS。你如果本地需要一些敏感数据处理，你就用开源模型；如果是一个很复杂的处理，你就老老实实地到网上来使用我的这些闭源模型就完了。谷歌也是这么干的，谷歌的闭源模型呢叫Gemini，现在Gemini 2.5 Pro是我目前用到的算是最好用的模型之一吧。他还开源了一个叫Gemma的模型，Gemma现在最新的应该是Gemma 3。你们如果有一些需要单独处理的数据、需要敏感处理的数据，你就把这个Gemma当（download）回去在本机使用。还有呢，微软，微软的小模型开源出来，这个模型叫Phi-4现在最新的版本。他们家自己不做大模型，用OpenAI的大模型就完事了。现在Mistral也是走着这条路，就是法国这公司，他们呢，现在有一些小一点的模型开源出来给大家用，但是大一些的、复杂一些的这个操作，你就老老实实地上云端，调他们家的服务器就完事了。

这个混沌模式和这个开旧闭新模式呢，咱不讨论，没有什么明确的商业诉求在后头。“开小闭大”模式，就是美国人现在使用的开源模式。那你说中国人使用的开源模式是什么样呢？跟他到底有什么不一样的呢？而中国人是直接把最新的、最大的全开出来。千问三就直接把200多B的模型开出来，DeepSeek直接把671B的模型开出来。而且只要我发布了最新的模型，我就把最新的模型直接开出来。这个是咱们的玩法。现在中国跑得比较靠前的开源模型：DeepSeek、千问、Minimax、Kimi和GLM。

所以这是两个完全不同的开源策略。那么中美博弈在什么地方？这两个策略，一个是“开小闭大”，一个是“应开全开”，那到底是怎么博弈的？中国人玩的，其实是“田忌赛马”的故事。就是你那最好的马呢，我跑不过；但是呢，我用我最好的马去给你一个中马跑，我用我的中马呢，给你的次马跑，反而我那个次马呢，上来我就给你最好的马跑，一次就完事了。这样三局两胜，我还是胜了两局的。

那你说大模型开源，这到底怎么去“田忌赛马”的呢？中国目前开源大模型呢，跟美国顶尖的闭源大模型比，它是比不过的。你比如说千问三的230几B的这些模型，DeepSeek 671B的模型，你去跟GPT-3、GPT-4这些模型比，你比不过他；你跟Claude、Code 4这些模型比，你也比不过；跟Gemini你也比不过。那怎么办呢？我们去跟你的开源模型比，去跟这些120B或者是这种三十几B的这些开源模型，我比你跑得好。我这个一上来就是600多B，效果一定是比你那个三十几B的效果要好非常非常多的，相当于是用我的最好的马去跟你那个中等的马去跑。当用户选择本地闭源、中小模型的时候呢，中国队就会占优。但是你说我在本地、在电脑上直接需要一个小模型，目前为止我使用到的GPT-OSS 20B是最好用的。中国现在同样大小的，你比如说都是20B或者是30B的这些模型，你比不过它。但是呢，有些人说，你看我这也是一个小的单位，我这个单位里头呢，也有一些服务器，我想要用一些模型去处理一些问题的话，那你使用这些600多B的或者是200多B的模型，你去跟GPT-OSS 120B打，你是打得过的。那么在这种小团队选择开源模型的时候，中国队就占优了。它是不同的一个竞争策略。

而且呢，当有创业公司想要去挑战大厂的时候，你比如像Perplexity说，我们想拿一些好一点的开源模型再去进行调整，我们想去跟大厂掰掰手腕的时候，中国团队会给他们提供充足的弹药。他们拿美国队，比如说Gemma、Phi或者是GPT-OSS，这些专门为PC端运行训练的这些小模型，你是没法整的。你拿这些模型再怎么微调、再怎么折腾，你没法跟那些大厂竞争。它会有这样的一个差异。但是呢，你拿中国这些模型，你再去微调一下，或者拿这个模型再去怎么折腾一下，那都是有可能能够做出一些比较强的应用出来的。

美国人的想法呢，其实挺简单的。使用美国的开源小模型，可以解决大厂预设的一些问题。比如OpenAI，我给你预设了些这些问题，你用这小模型解决；那些问题呢，你就用大模型解决。大模型你上云端来调，小模型自己去用。但是呢，使用小模型的人，永远不可能形成对于大厂的竞争来，这就是他想干的事。而中国人的策略是什么呢？看热闹不嫌事大。有人打架了，赶快往上递什么无缝钢管，递什么煤气罐，咱们赶快去干这些事。当然这些无缝钢管，比如到了中东，他们可能就变成了煤气罐大炮了，那个我们就不管了，我们都是卖的民用设备过去的，他们拿去打仗，这事跟我们没关系。所以中国人喜欢干这样的事情。

那谁能笑到最后呢？刚才我们讲了，中美两个策略不一样。短期内看呢，美国的策略是更精明的，他把应用分析得很清楚，谁该用什么东西，谁自己去用就完了。但是呢，中国的策略呢，也有自己的定位，短期内呢，我们也可以争夺到一部分市场，这个事本身并没有太大的问题。从长期考量来说呢，美国的策略首先要保障的是巨头永远是巨头，巨头规划未来的格局，中小企业呢，在巨头的规划内生长。有点像谷歌跟苹果似的，你说这么多做App的、做游戏的公司，谁也没有能力去撼动这些做App Store和Google Play的公司去，这个就是他们所希望去规划的事情。而中国的策略呢，就是有可能培养出一些颠覆市场的妖怪来。我们不管你这个规则是什么样的，反正我们给你这个煤气罐、给你这个无缝钢管，你拿去爱干嘛干嘛去，这是中国的策略。而且有很多的国家呢，是不甘心永远去用美国的这些闭源模型的，那么在这种时候，中国的开源模型也是他们唯一的选择。你比如说到了沙特了，到了阿联酋了，也希望有一些自己的大模型，但是你拿美国的这些模型你没法整。虽然他可以给你部署到你本地来，但是这个东西还是由美国人来管理的，哪天他给你关了，你就没法用了。你说我有一个完全我自己控制的了的这些模型，那你就老老实实地用中国的模型去训练，美国的这些开源小模型，你拿它是没有办法的。

而且呢，在一个一半以上研发人员都是中国人的领域里头呢，中国策略可能才是未来。AI领域是一个有着深深中国民族性烙印的领域。在这个圈子里头，只要是做AI相关的公司，出来讲点什么事儿，基本上一半以上是中国人。那你说中国人的民族烙印到底是什么呢？每个中国打工人都惦记着阶级跃迁，惦记着翻身做主人。咱们讲的是说，哎，我这开了一个拉面馆，我请了几个中国师傅在我这拉面，他们就想着说：“我应该怎么把这个配方偷出来，以后我可以在旁边再开一家拉面馆，去跟原来的老板竞争。”中国人讲的叫“王侯将相，宁有种乎？”，凭什么你行我不行？咱们也可以上来试一试。所以呢，像美国人这种，就是规划好了你就拿小模型，你永远做不出大模型的，这东西拿去用去。咱们的策略就是每个人都有枪有炮，最后谁说了算不一定呢。

日子还长，咱们往后继续看，到底哪条路可以走得通，到底哪条路可以结出丰硕的果实来。

好，这个故事就跟大家讲到这里，感谢大家收听，请帮忙点赞、点小铃铛、参加Discord讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道，再见。

史上最聪明的AI大模型GROK4诞生了。马斯克亲自坐镇开发布会。视频发布会呢，并不是特别的顺畅。第一个呢，是他晚了一个小时，也没说为什么。反正马斯克的直播经常会晚。然后呢，太多的东西需要集中发布，上下衔接的呢比较仓促一点。

最早期很多的互联网公司开发布会也是这样的，两三个小时七差咔嚓发一大堆东西。后来OpenAI这些公司习惯了在网上开直播以后呢，就慢慢把这风格改了。改成什么呢？就是每次发一个功能，发个十分钟二十分钟就完事了。然后呢，不停的发，每个月发每个月发。Xai呢，现在还没有彻底学会这件事情，还是一股脑给大家扔了一大堆东西出来。

我们以前在面对创业者的时候，每次都会苦口婆心的去做一种劝告。大家可能不知道会劝什么。作为投资人来说，我们每次看到任何一个创业者，都会上去劝一件事，叫不要憋大招。你一次要惦记着做一个大的东西，就很容易失败。你应该是做一些小的东西，一点一点放出来。OXAI现在还是憋了一个大招。当然了，XAI后面呢，也会每个月发布一个新的工具出来，它也慢慢的向这样的一个方向去前进。

8月份呢会发编程，9月份呢会发多模态。虽然现在的GROK4呢，也号称是可以出图吧，但我不确定他是可以做图片理解的，做视频理解。但是呢，他这一块应该还不是很满意，9月份应该再会去做发布。10月份呢会发视频。GROK4的模型要直接做视频生成。一个百无禁忌的模型，能够做视频生成，还是挺值得期待的一个事情。

到年底呢，准备发企业功能包。这是个什么东西？GROK4是允许私有化部署的。你可以向他申请说，我家里有这个云，我们企业要用这个东西，给我部署到这边来。GROK4还会有合规工具包，企业级的技术支持。美国区的Oracle云账号，现在已经可以使用Grok 3了。Grok 4还需要等。Oracle云并不是XAI自己家的云，你可以在上面使用Grok 3。

一些测试呢，其实也并不是特别成功。比如说命令它唱歌，结果呢，这个东西没有唱歌，他做了一个诗朗诵。当然了，不论是唱歌还是诗朗诵，对于一个机器发声TTS的一个功能来说，已经是很强大了。既然敢在上面当着马斯克的面要求他唱歌的话，那说明这个东西是会唱歌的，只是当场没唱出来而已。

那么GROK4到底是一个什么样的模型呢？妥妥的叫别人家的孩子。什么叫别人家的孩子？就是你看邻居家的小明，怎么考的这么好，每天上课都多么专心，经常被老师夸奖。

GROK4呢，属于典型的理工男模型。GROK从三开始，一直是有一个很双面性的东西：一方面是理工男，另外一方面呢，比较百无禁忌。GROK3有一些比较奇葩的用法，待会咱们再去讲。GROK4我估计会继承这些使用方法，而且会变得更加厉害一些。

但是，马斯克作为一个理工直男，跟一帮工程师坐在那发布GROK4，肯定是奔着理工男的这个方式去发布的。所以，其他那个用法他就没怎么讲。所有跟做题相关的数据都被刷了。而且，这一次是遥遥领先。前面呢，Gemini 2.5、GPT O3 O4、Claude 4这些呢，他们在刷这些题、刷这些排行榜的时候也会有提升，但是提升的不会那么高，经常是这个我高一点，那个你低一点。

但这一次的话，GROK4完全属于是断层式的碾压，一下比别人高了非常一大块。特别是大家提到的，有一个叫“人类终极测试”的竞赛。上一个冠军呢是Gemini 2.5，正确率呢是21%。GROK4，不使用任何工具，就闭卷考试26.9%的正确率；使用工具就是41.0%的正确率。如果使用叫Grok Heavy，一个超重的模型，它是一堆的GROK一起来干活，干完了以后自己相互吵架，吵出一个结果来，它可以达到58.3%的正确率。

所有人都在讲说“人类终极测试”，什么是“人类终极测试”？它呢是一套测试题库，2,500道题。发起人是谁呢？有一个叫Center of AI Safety（CAIS，AI安全中心）这样的一个机构为主导构思与学术把关的。那么，谁出钱呢？谁做工程技术实施的呢？叫Scale AI，就是刚被美塔投了一大笔钱进去的，那个华人小伙子创业那项目，140多亿美金刚投完资的那个项目。他来去提供的数据工程和资金支持。

做这种题库并不是那么贵，花不了太多钱。启动呢，是2024年9月16号，公开全球征题，标榜找出AI也答不出来的难题。花了多少钱呢？给了50万美金的奖金池。Scale AI给的钱，最高呢5,000美金一个题，奖励前50名作者——就是你出的题特别好，5,000美金一个题。第二梯队呢是500美金一个题。后边呢就是100美金每个错误——我把题上来了，大家来找错误。

现在这个题库呢是在GitHub上，在Hugging Face上都有，大家可以上去找错误。找到了错误，给它修正了，可以得到100美金。所以呢，它整个的运作方式就是50万美金一个奖金池，咱不停的发。到现在为止呢，依然在不断的更新这些题库。

这个题库呢是公开征集的2,500道题，41%的数学题，14%的多模态的题。另外呢，还保留了私有隐藏集防止过拟合。过拟合什么意思？就是说我刷题呗，除了这个题之外的东西都不会吗？前面这个Llama4就是死在这个过拟合上了，题刷的特别好，结果发现不是这个题库的题不会做了。

他怎么来预防这个过拟合呢？就是有300道题是隐藏的，任何人去刷这个题库，你看不到这300道题。用AI大模型去做这个题的时候呢，它就会把这300道题拿出来，这个模型就始终会遇到新题，遇到没有做过的题。

整个的这个运作方式呢，第一个是叫众包的征题，大家都来出题。第二个呢是做前沿模型的筛选，就是用当下最强的大模型（GPT4O，Gemini2.5，Claude 3.5）这些题呢进行模拟考试。当这些模型的得分不比随机猜好的时候，这个题目才会被保留下来，进入人类最初考题的这个题库。比如说咱们原来都讲a b c d考试嘛，咱们全填a得25分，如果这个这些大模型做的分没有超过25分，我们就把这题留下来，超过了我们就这题不要了。它是这样来出这个题的。

出完这些题之后呢，再进行两轮的人类专家复核，在Git Hub和Hagging face上面去公布，让大家去找错误版本。定版以后保留私有级并记录版本哈希，他是这样来工作的。

你说人到底能做成什么样人类最终考题？人呢目前为止，没有一个公开可验证的成绩。有人试过，据说是需要耗费极长的时间去做，但是也没有人呢去真正公开说我到底得了多少分。所以马斯克这次说，他的大模型可以做到50多分了，说应该已经超过了绝大部分的人类，我觉得这个事情是可以这么认为的。

马斯克认为呢这一次他发的GROK4就是有史以来最聪明的大模型了。当然了，马斯克这个嘴呢，大家就听就好了，因为GROK3发布的时候他也这么说的。而且马斯克讲了说他的GROK4已经达到了全科目博士水平了。

那么GROK4到底有什么不一样的地方呢？它是第一款预训练和强化学习相对比较平衡的大模型。什么意思呢？正常我们去做一个大模型是做预训练嘛，做一个模型出来。做完这个以后呢会去做强化学习。所谓强化学习呢，就是状态动作和奖励，在某一个状态下，我要求你去做一个什么动作，如果做对了我给你奖励，做错了就没有奖励。这个大模型自己按照积累更多奖励的方式进行训练。像我们比较熟悉的比如Deepseek R1推理模型也是如此。

就是他先去做一个基准模型，叫Deepseek R1 Zero。然后呢，在这个模型的基础上去做推理的强化训练，得到了Deepseek R1。

但是，以前传统的模型是怎么做呢？就是先消耗巨大量的算力和数据进行预训练，把这个Zero（0）模型做出来。然后呢，再用远小于预训练成本的算力去进行强化学习。一般呢，它的强化学习的成本大概也就是预训练的10%到20%左右。

然而，GROK4呢，它是预训练跟强化学习所耗费的成本与算力基本相等，两边一样多。所以它是有史以来第一次用这么多算力去做强化学习的模型。当然，你像Deepseek，它想干它也干不了，20万块显卡它没有。

GROK4呢，首先是使用GROK3的一部分权重，就是有些层次的权重它就直接用了。然后补充数据之后进行预训练，得到了一个叫GROK4 base的基础模型。接着，投入空前的算力进行强化学习，投入了20万张算力卡直接进行强化训练，按照奖励最大化、长程回报的方式。

什么叫长程回报呢？就是你要做很长的推理，要积累正确的奖励，让这样的一个算法去进行训练。而且呢，是动态的任务池，包括数学推导、代码单元测试、商业模式和人类最终题库，这些高级的环境都要进去进行强化训练。

XAI呢，直播的时候讲到说，模型越聪明，强化训练的任务呢就越少，需要自己动态地去做题，否则你就没有那么多题可做了嘛。智能体在模拟环境下或者是真实的API工具中试错、自我对弈。因为有一个叫做Grok heavy的模型，就是一堆的Grok的模型自己跟自己之间吵来吵去的，最后看看怎么能够提高训练效果。

在训练期，让代理互相评论；推理时，并行生成交叉式复审核成答案，再去进行这样的学习。所以它的这个算力是非常浪费，但是效果很好。而且呢，它会监控成功率，当大于80%的时候，会自动生成更难的对手、更长的推理链，解决奖励稀疏的问题。

就跟原来说小学生：“哎呀，我今天考了95。”一回到家里以后，父母肯定说：“你为啥不考100呢？前面还有人没有？”都是这样来训练出来的，就不断地PUA，这个产品就出来了。

它的强化训练计算量达到了同类产品的10倍以上。GROK4的强化训练连续跑了7周，每天消耗的电力相当于一座中等城市。所以说，AI的竞争最后是电力竞争。结束了以后，他再把多代理策略的这些东西进行蒸馏，形成一个单代理的版本。

所以呢，我们平时去使用的公开的API调用的Grok，不是heavy的那个。

就是蒸馏后的这个单代理模式。而且除了强化学习之外，还有一个很重要的东西是什么呢？就是原生的工具支持，这个也是非常厉害的。因为现在的大模型都是可以调用工具的，调用方法也很简单，就是你在给它提示词的时候，把工具的描述描述进去。说我这有一个扳子，那有一个锤子，这里还有一个电焊，有一大堆这样的工具。你先把这些东西都介绍给这个大模型，然后呢，大模型再根据说你的提示词进行推理，在推理的过程中来决定调哪个工具。这个东西其实是需要训练的，有些工具你会使，有些工具不会使，或者有些工具你根据这些描述应该如何去使用，它是需要训练的。所以Grok专门在这块进行了训练，它的这个原生工具的知识要比其他的模型要好。所以呢，它叫高度动态的工具知识。

GROK4的工具体系不仅仅局限于文本生成，它能够根据任务需求动态调用外部的API、计算工具、模拟器等等，使得它能够处理更复杂的任务，例如实时推理和决策优化。而且呢，它是多智能体合作，因为这个东西一开始它就是相互之间吵架吵出来的嘛。不同于大多数模型，GROK4的原生支持多智能体的这种合作方面的创新。以前都是以智能体为核心，我们再去调别的工具就完了，但是GROK4支持智能体之间调用的，就可以使得模型能够在推理过程中模拟复杂的多角色互动场景。这在处理开放式任务、模拟环境和长期计划时非常重要，这个是它的一个创新。

然后呢，多模态的知识。Grok对于图片、音频等非文本数据是内建支持的，使得它在处理涉及视觉、声音以及其他感知数据的复杂任务的时候，能够更加高效的融合多种信息源，优化推理能力。通过强化学习和专家模式的结合，GROK4能够在大规模任务中实现更高效的推理，尤其是在与外部工具和数据库交互过程中，提升了准确性和可扩展性。这个就是GROK4真正强的地方。第一个是用了空前的算力去做强化学习训练，另外一个跟大家强调的就是对于工具的这种原生支持。

讲的这么热闹，这个使用起来到底怎么样呢？第一个，我自己的账号是8美元的x账号，这个不让用，只能用GROK3。GROK.com上也只能用GROK3，不让我用GROK4，必须要升级30美金一个月的super Grok账号才可以去用GROK4。你要想去用那个Grok heavy，就是那个特别重的那种相互吵架的这个大模型，一个月300美金，稍微有一点点小贵。那你说我讲了半天我用没用过？用过了，通过API调用。

现在呢，我们可以通过x.AI的网站去调用GROK4的这个API。它上头有一个模型叫GROK4-0709，就是7月9号这一天发布的这个版本。当然，比较遗憾的是什么呢？现在GROK的这个API调用所有的优惠都停止了，只能老老实实地烧TOKEN。也不是很贵吧，去年呢，是每个月送25美金，基本上是够使了。今年是5月份之前呢，同意共享数据充值5美金送150美金，这个也是一个比较不错的优惠吧。但是5月份以后这个优惠就停止了，所以现在就老老实实烧就行了。它呢，是3美金100万TOKEN的输入，15美金100万TOKEN的输出，所以它的整个价格不贵。上下文呢是256k，支持推理，支持多模态输入。

现在呢，它有一个调用限制，每分钟可以调用60次，超过了以后呢它就会卡住你，这个是有问题的。所以，我确实去用去了。使用的感受怎么样呢？这个就当我们跟博士在一起工作的时候，会自惭形秽吗？我相信可能在我听我节目的人里头，有一些人是博士。你跟博士一块去聊天，一块去干活的时候，真的觉得他们特别伟大光荣正确吗？其实也没有。博士有时候未必懂得人情世故，未必好打交道。我个人的感受呢也是如此，并没有感觉比ChatGPT或者Claude好更多。有时候呢也犯一些比较低级的错误，质量，指令的依存度并不是很好。

我做了几个测试吧，比如说我要求的他先去做搜索，根据搜索一些信息去给我做总结。出来的结果呢，会混杂html的标记在里头。因为你搜索的结果是带html标记，语言那些标记的嘛，出来了以后就会带这个。我在提示词里写着说不要带html标记，把相关的标记转成Markdown，发现依然是带着这些标记就出来了。所以呢至少到目前这个版本吧，效果还没有那么好。但是他们应该内部还在迭代吧，可能很快就会改过来吧。

在处理日常工作这方面呢，他的能力与科研能力之间其实并没有直接的联系。就是大部分人其实都可以处理日常工作，但是很少有些人可以去做这个科研。而GROK4主要提升的是科研能力，所以前面我们讲所有跟数学相关的，跟这个推理相关的遥遥领先。但是处理日常工作这块呢，基本上也就这样了。一个理工直男博士，往往是笨嘴拙舌，缺乏生活常识，以及指令依存性不是很高的一个人，符合我们对博士的这种刻板印象吧，或者也属于在情理之中的一个事情。

所以现在日常工作处理方面呢，到底考核什么？第一个是工具能力，第二个是指令依存度。

第三个是一些对齐的能力。这块其实现在GPT、Gemini、Claude、Grok、Deepseek基本上都能使用，没有特别大的差异。

输出质量呢，在不同的领域各有差异。GPT相对来说是比较均衡的；Gemini呢，有点像理工男；Claude的输出让人觉得比较舒服，但要稍微油滑一点；Grok呢，有的时候给你黑色幽默一下；Deepseek喜欢瞎编。

稍微勉强达标的是谁？就是千问跟豆包，叫勉强达标，稍微要比上面那个梯队差那么一点点。我呢，还没想到具体要用Grok4做点什么高大上的事情，因为对于普通人来说，你也想不出什么高大上的事情让他干去，所以这个先使得吧，价格也不是很贵。

再往后一个问题是什么呢？说好的开源哪去了？马斯克原来讲的Grok是要开源的呀。Grok1现在其实已经开源了，在Grok2发布的时候就开源了。但是呢，也仅仅是开源了而已。正常你开源一个项目，你是要文档、要社区、要维护的。但Grok1开源了以后呢，是一种非常不友好的开源。它那个模型很大，一般人你也部署不了，所以它也没有跟别人去做各种兼容性的适配。有些人去提问题、提意见，他也不理人家，就往这一放就完了。这种开源代码，属于是比较低质量的开源项目吧。

马斯克呢，曾经承诺过，新的模型出来，就一定会把上一个版本开源出去。Grok3发布的时候呢，大家就在等Grok2的开源，当时也承诺了，等Grok3稳定下来，就把Grok2开源掉。现在Grok4都出来了，Grok2跟Grok3就都没有开源的动静了。整个的发布会上，也没有再提开源的事了。对于马斯克来说，贵人多忘事，直接忘掉了吧。

Grok以后会提供企业私有部署的服务，这个呢，其他三家还是不一样的。像Gemini、GPT、Anthropic，他们应该都不会去提供这种企业部署的。以后未来是否会开源呢，还要看未来的策略。其实开源对于他们以后去争取企业私有部署的订单是有好处的。实际上他所谓的开源，也叫开放权重，并不是开放源代码。开源是一个很消耗人力的松耦合和协作方式，马斯克他们XAI现在人也不是很多嘛，所以现在一时半会顾不上。

也没准到年底的时候又想起来说，我们再开个源啥的，大家可以再继续等待一下。马斯克现在呢，应该也没太考虑到XAI到底能不能挣到钱的问题，反正他现在不停地往里募资，不停地融资，融的钱也够他花的，因为他人不多嘛。

也不需要跟别人去抢人，主要花的钱都是烧算力去了。买显卡、烧电费，就干这玩意去了。

再往后呢，咱们看一下大模型的意识形态问题。因为Grok呢，是一个比较奇怪的大模型。咱们要知道，最一板一眼的大模型，或者说道德感最高的大模型是Gemini。GPT呢，原来道德感也很高。最近的一段时间，特别是Deepseek R1出来以后，这段时间呢，GPT实际上是把道德感降低了一些。最没有道德感的实际上就是Grok。

Grok呢，最近还出了一个特别神奇的事情，叫做“日本烟花事件”。怎么出的事呢？就是做了一次黑色幽默。应该在7月5日，有人放了一个特别漂亮、特别大的一个烟花的照片，就在那说：“这是日本最大的烟花了。”另外一个人呢，回复说：“应该还有更大的吧？”这个时候呢，就有人去问Grok了，就@Grok在Twitter里头，在X里边问他：“什么时候日本有过更大的烟花？”

Grok就回答了：“日本广岛跟长崎被丢原子弹那两次，是更大的烟花。”日本人肯定不乐意了嘛，说Grok太不照顾我们的民族感情了。Grok呢，还在那嘴硬说：“这是一个黑色幽默。如果你感觉不舒服的话，我道歉一下。但呢，这就是一个历史事实，我也没有编什么。”

日本网友就说了：“说两颗原子弹呢，杀死了很多的无辜民众，这个才是事实。”Grok的回复特别逗，他说：“南京大屠杀这个才是历史事实，有很多的无辜民众被杀了。”然后日本网友说：“南京大屠杀这事是个谣传，没有南京大屠杀，凭什么说这是历史事实呢？”Grok又去回去了：“有各种笔记、照片，还有审判的一些记录，都已经证明了。虽然死亡人数上有争议，但是南京大屠杀是被普遍认可的历史事实。”

就是这样的一个故事，让日本网友稍微有点小破防。日本人现在正在想说：“我们是不是要去抵制一下特斯拉呢？”这事是7月5号发生的。7月10号早晨，XAI把Grok相关的评论都删了，准备开发布会了。发布会之前，不能有这种不和谐的声音在这里。

Grok干类似这种有争议的事情，其实也不是一回两回了。他经常做这种黑色幽默，得罪一些人。但很正常吧，黑色幽默通常是有一些冒犯的，不能保证所有人看着都很开心。你要如果所有人看着都很开心，那就不叫黑色幽默了，那玩意叫“伟大光荣正确”的。

Grok呢，曾经出现过意识形态投毒的事件。2025年5月14号，Grok对于用户无关提问，比如棒球、HBO更名等等这些事情进行回复的时候呢，反复提及南非白人种族屠杀和“kill the boy”，应该是BORER吧。

这样的一个歌反复在提这个。这一行为呢，引发了广泛的关注。因为白人种族屠杀是一种极具争议的极右翼阴谋论，已被南非法院和多个权威机构驳斥为缺乏证据了。

Grok甚至在某些回复中称，这是被Xai的创造者所指示的，将这一个问题视为事实、种族动机驱动的一个事件。这是Grok承认的事情，因为马斯克自己始终坚信南非是存在针对白人的种族屠杀的。因为他是老板嘛，所以就有人把这个东西直接写在系统提示词里头，直接投毒投到x上去了。大家在x上发帖的时候，如果你@grok，他有时候会回来回帖的。

这一次日本的烟花的事件呢，也有人指出了为什么他就这么去怼日本人，而且会去提到南京大屠杀呢？有人说XAI团队里的中国人占比太高了，特别是在中国大陆出生、接受基础教育的人，占比是最高的，基本上大概占一小半。到目前为止没有一个明确的确认说有谁日本人在里头。在这里头大概就是中国人、俄罗斯人加上一些东欧的人，是这样的一个团队组成的XAI。

甚至现在有人认为呢，XAI是一个被中国有意识制造的特洛伊木马，派了大量的研究者进去。其实这个事儿不光是XAI，美国所有AI公司里头大概都有一半，没准还有一多半是中国人。而且这些人是在国内接受过初等教育的一些人，占比是非常非常高的。

那么新的态势是什么样的呢？现在Grok的市场地位呢，首先它的市值是第二。最高的呢是OpenAI，3,000多亿美金；1,000多亿美金的Grok是第二。所以它的市值要比Anthropic高很多。其他的大厂，谷歌你没法跟它比，那玩意是上万亿美金的公司。所有的AI的这种新公司里它的市值第二，但是市场占有率呢并不大。

市场占有率最高的肯定是OpenAI，大概占百分之三四十的份额；Gemini是第二，应该有个20%多；Anthropic的Claude有十几；剩下的大概还有30%左右呢，包括Grok，包括LLAMA、千问、Deepseek，都在这个其他里头。

Grok的APP不算x那部分，就是APP自己的日活应该也是有个几百万吧，月活可能几千万的一个样子，就是数量还可以。在一些特定的领域里头呢，被应用的很好。Grok你是可以通过API直接调用x数据的，不是具体说我要看张三的哪一条或者李四的哪一条，不是这样的。而是什么呢？你可以看趋势数据，说最近x上有什么新趋势，你可以直接通过API直接调用它，这个还是很方便的。另外呢，顾忌比较少嘛。

所以，很多人在用Grok写小说。还有呢，因为Grok的顾忌相对来说比较少，所以它有一个比较特殊的用途。刚才咱没讲，就是有一堆人在去研究越狱提示词，让Grok去写黄色小说。大部分的色情小说，其实是Grok写出来的。

按道理来讲呢，应该有人用Grok做工程、技术方面的工作。但是这个可能离我的生活稍微有一点点距离，所以我并不是特别了解。这个应该也是马斯克他们去训练Grok最主要的一个用途。他们不可能说我训练了一个东西出来，可以怼人、可以讲黑色笑话，还可以写黄色小说。马斯克应该也没那么闲吧，人家还惦记去火星呢。

另外一个我们要发现的势头变化是什么呢？就是通过GROK4的发布，美国再次拉开了跟中国之间的差距。把GROK4发布了以后，中美之间的大模型差距就重新拉开了。在科研、工程技术领域，绝对的遥遥领先了。我呢，没有验证过，希望后边不要翻车。因为有些东西我们这讲的很热闹，没准过两天翻车，这个可能性我们不希望看到。

而且这种大力出奇迹的领先，中国因为缺少算力卡，追赶起来是比较费劲的。它是20万块英伟达H100去做的强化学习，中国你凑不出20万块H100了。你要想拿其他的卡去做这件事情的话，你需要比如说200万块，或者更多的一个卡池，才有可能能够达到同样的效果。你要耗可能比马斯克多10倍的电，才有可能达到这样的效果。这个的话还是要看大家是不是有决心了。国内这些大模型公司一般烧不起这个。

如果说咱们想追上这一个事的话，估计要等10月份，川建国同志带着黄仁勋访华了。如果10月份它成行，带着黄仁勋来了，那没准咱还是可以追赶的。否则的话这事费劲。而且这种领先是全方位的领先，因为这是科研速度的全方位的领先。在各个方面的科学研究，Grok都有极大的提速。可能对于中美科技之间，会有一些新的改变吧。

新的方向已经指明了，有卡的公司们那就准备冲了。因为他这件事呢，说的并没有那么复杂。原来大家都是说我们做完预训练，做完这种Zero模型或者base模型，稍微的做一些强化学习就完事了。现在说，我们把这强化学习一直做下去，就可以有非常非常好的效果。那大家干呗。

OpenAI、谷歌、梅塔，这都是手里有卡的人。而且现在梅塔在挖OpenAI的人，前面掉队了。我们有卡，我们要把它干起来。OpenAI现在也在挖人，OpenAI在挖XAI的人，就是在挖Grok的人。因为你把20万块卡堆在一块去干活，让他们之间能够很好的调度。

这个事它也是个学问。既然Xai你已经把事搞明白了，那Openai说来，我花钱挖你的人就完事了。既然GROK4可以靠20万块算力卡做强化学习，直接把成绩拉上去，其他公司肯定是不甘落后的。这个是中国相对来说比较难追赶的一个事情吧。

华为呢，应该学英伟达，自己就别训练自己的模型了，好好搞你的升腾芯片拉倒了。搞了半天的这个盘古大模型，还不够丢人现眼的。

最后呢，总结一下GROK4的发布呢，其实让我想起了一个东西，就是《三体》这个小说里边讲的黑暗森林法则。为什么想起这个呢？黑暗森林里头其实它是四个法则：

第一个是宇宙资源有限，文明生存优先。

第二个叫猜疑链，就是：我怎么向你证明我是好人？我怎么知道你是好人？我怎么相信说你知道我是好人以后会很好的对待我？猜疑链不断延长呢，就容易去打起来。

第三个是什么？就是技术隐藏与技术爆炸。《三体》里讲黑暗森林法则的时候，看到任何人，哪怕他的技术比你差很远，都要一枪打过去，然后把他干掉。因为呢，距离很远，你不知道什么时候能到那，没准你到那的时候，人家技术大爆炸，一下就比你先进了，可能是反过头来就把你干掉了。这是这个黑暗森林法则的前三个要素。

第四个要素就是沉默是生存的策略，就是大家谁也别吱声，在里头藏好。

那GROK4呢，就是一个技术爆炸的冲锋号。因为他一旦上来以后，所有的理工科或者是工程技术方面的科技方面的，就可以大爆发了。美国这些油卡的公司会继续加大算力做强化学习，会快速赶上。中国，追赶也是必须的，我们再难还是得赶。毕竟美国公司里边还有这么多的中国人，比这个任何族裔的人的比例都高。

卡呢，咱们确认肯定不多了，那看怎么去新加坡，怎么去中东土豪那边去，把这些卡再重新聚集起来。或者说咱们把这个升腾的卡看看，拼吧拼吧能不能干点什么事出来。

GROK4应该是会对整个的AI制程行业带来改变的一个大模型，就像咱们年初的Deepseek R1一样。Deepseek R1出来之前，整个大模型圈子里头都是岁月静好了，OpenAI都开始挤牙膏了。Deepseek一出来以后，中国人来了赶快卷呐，甚至有一段时间他们都觉得哎呀，中国已经追上来了。但是到GROK4开始发现，哎，这个距离又拉开了。而且真的是有一样他们可以卡脖子的东西，咱们没有。他有他的训练，完完全全就是靠这20万块卡，咱们搞不定这个事情。他有，直接搞定了。而且这个东西不仅仅是Grok的领先，而是全方位的。

科技与科研的这种领先，所以这一块的话，可能世界格局都会带来一些小小的变化吧。后边我们还有很多的故事可以去讲吧。好，这就是我们今天要讲的GROK4发布的故事。

上下文工程又有新词了。AIGC不怎么赚钱，造词的速度还是非常非常快的。大家好，欢迎收听老范讲故事的YouTube频道。

提示词工程已经稍微有点过时了，现在的新词叫上下文工程。提示词工程长什么样，大家还记得吗？就是上来先说你是谁，谁先给大模型定一个位置。比如说你是一个资深翻译，你是个语文老师。然后呢，说我现在想要干一点什么事情了，给我出个题，给我做个翻译，再给他一个简单的例子，说你照这样给我把东西做出来。

光有提示词呢，肯定是不够的。除了刚才我们讲的完整的、结构化的提示词之外，你还是需要很多相关的上下文，才能够让大模型稳定的输出结果。那你说我们继续把提示词写长不就行了吗？我还见过那种直接写出几百字或者是上千字小作文的提示词。这个是不是可以继续往前走呢？不行了。因为你如果继续叫提示词工程呢，会容易引起误解。大家觉得只要不断的把提示词写长，就可以把这事解决掉。但其实除了提示词之外，还有非常非常多的上下文数据需要一起写进去，才能够让大模型稳定的输出我们所预期的、有价值的结果出来。

所以呢，就不能继续叫提示词工程了，一定要起个新词。而且呢，AI时代呢，起新词是非常重要的，因为可以吸引眼球。只有足够吸引眼球的东西，才有发展的前景。所以在这个时候，上下文工程就来了，一个新词诞生了。

这个造词的大师现在是谁呢？叫安德烈·卡帕西。这是一位造词专家，他呢是特斯拉跟OpenAI的AI科学家，已经离职了。现在呢主要的工作是投资人和顾问，他自己投一些项目，也帮助一些项目做顾问做孵化。这哥们呢在不停的造新词。2017年呢，他造的新词叫软件2.0。什么是软件2.0呢？把神经网络视作用数据而非代码编程的新规范。程序等于网络结构加训练数据加优化器，源代码缩到几百行，真正的逻辑写在权重里面。这是2017年提出来的，现在我们的大模型基本上就是长得这个模样。

到2023年呢，提出来叫LLMOS，大模型操作系统。把大语言模型比作新的CPU加操作系统，人类用自然语言编程，大语言模型负责调度、记忆和推理。2025年，氛围编程，也是他编发明的一个新词。彻底投降给AI，对着IDE聊天，粘贴报错，让模型自动改，人只管感受对不对。

现在上下文工程又来了。上下文工程呢叫context engineering，这个呢并不是卡帕西自己提出的。最早呢是2025年6月27号，一位开源作者叫Simon Wilkinson。

写了一个文章，提到了”Context Engineering”这个概念。在7月份呢，一帮人就出来说，这个实在是太棒了，要向这个方向发展，包括Longchain的一些博客。Longchain应该也算是AI Agent的一个开山项目吧，比较早期的一个项目。Shopify（加拿大最大的电商平台）的创始人也出来点赞，说一定要使用Context Engineer才可以让大模型稳定的输出结果。

在这个时候呢，卡帕西上去点了个赞。卡帕西说：”加一，我也赞同这件事情。”所以现在再去讲这个上下文工程的时候呢，都是说这是卡帕西点赞过的，或者说是卡帕西推崇的新的概念。因为他最有名，他最喜欢造词，所以现在都是把这个上下文工程这个事情跟卡帕西挂在一起。

AI时代，讲故事能力、吸引眼球的能力是非常非常重要的。所以我们看到一帮做机器人的公司，或者像OpenAI这样的公司，不停的给大家录视频，让普通的民众能够感受到这个东西好厉害。其实他也没搞明白这个大模型或者这些机器人到底能干嘛，只是觉得好炫酷。但这就够了。当大家都觉得这个东西很炫酷的时候，你就可以拿到融资，可以往前走。所以造新词还是很重要的。

那么上下文工程都包含什么东西呢？讲了半天在提示词工程基础上加什么了呢？上下文工程呢一共是6个模块：

第一个叫指令层（系统角色+少样例提示）。这个什么意思呢？原来我们写在系统提示词里的东西。我们跟大模型聊天的时候，是有两个提示词：一个叫系统提示词，一个叫用户提示词。系统提示词就是先规定大模型你是干嘛的，你是什么什么角色，现在要具体做什么什么事情。少样例是什么呢？叫Few-shot，就是你要给他提几个例子。你说我直接告诉你你是干嘛的，我不给你举例子行不行？这个事是不好的。最好呢是给他两个到八个之间的这种少量的样本。那你说我给他100个例子行不行？那个你基本上去微调模型去了。所以呢，叫少量样本。这个是写系统提示词的一个要求。所以呢，他的第一块（6个模块里的第一块）就是系统提示词。

第二块呢叫及时用户请求，也就是原来我们使用的用户提示词。

第三块是什么呢？叫对话历史和短期记忆。我们在聊天的时候，你不能说我每句都是新的吧，你还是要有一个对话历史的。

第四块叫长期记忆。长期记忆呢就是说，我们通过每一次聊天，把一些关键信息把它提取出来。因为现在甭管是OpenAI、Gemini，都在向长期记忆这一块发展。

我们说，你记得我是干嘛的吗？你记得这个原来我跟你说过什么事吗？他能想的起来要把用户偏好和先前的一些摘要放到这个上下文里边去。

第五个呢，是RAG检索到的文档、数据库条目以及实时API的一些结果，再加一些本地知识库，再加一些搜索结果呀，再加一些数据库里的信息。

第六块呢，叫工具与格式约束。什么意思呢？就是你要告诉他说：“我现在可以调哪些工具？”比如说我这有高德地图、有百度地图、有天气，或者一些其他的工具，你可以调用。调用的方式是什么样的？以及呢，输出什么样的一个结果？通常这种信息都不是按照正常的文本格式输出的。这种上下文工程要求的输出格式都是JSON格式，有哈西结构的一些文档。

整个的上下文工程包括这六个组成部分。它的工作方式是什么样的？我怎么能够让它用起来呢？分四步：

第一步呢，是写。写的时候呢，要把随时会用到但是当前窗口装不下，或者不该暴露给大语言模型的内容呢，持久化到窗口之外去，可读可写的一些外部存储上。有一些信息我认为你可能有用，但是呢现在我又不是马上就要给你，我要把它先存起来。

第二件事呢，叫选。选是什么呢？就是在庞杂的信息文档和工具描述里头，准确定义相关性，把最有用的多少条信息放到窗口里边去。在大模型里头，有一个东西叫上下文窗口。要把一时用不着的写在外面，随时可以调用；要把有用的选到窗口里头来。

第三步呢，叫压缩。在不丢关键信息的情况下，把即将写回窗口的内容做摘要和裁剪，满足TOKEN预算。什么意思呢？比如说做了RAG的选择了，或者做了搜索的结果返回了，这些信息是相对比较啰嗦的比较多。那怎么办呢？在这个时候你要先去做一次总结，然后把总结过的东西再扔给大模型。所以呢，在这要做压缩。

最后呢，第四步叫隔离。把彼此可能串味的信息拆分进独立的上下文窗口或者沙盒，减少干扰，并行提速。

我原来在这块翻过车，稍微给大家讲一嘴。我有一次呢，想去问大模型，说这个人跟谁谁一块创业去开咖啡馆了，他有什么其他的在咖啡馆里边管理或者创业的经验没有？大模型呢，就把一大堆的搜索结果拿进去去总结归纳去了。结果呢，他就说这个人在瑞幸干过高管，在星巴克干过高管。我一看，这挺好，赶快就去写演讲稿去了吗？但是最后去校验的时候发现不对。那是怎么回事呢？就是他在搜索了以后，把一大堆说星巴克跟这种咖啡馆之间是如何去比对的，瑞幸跟这些咖啡馆之间是如何差异，他们对瑞幸做了什么评价，瑞星对他们做了什么评价。

然后呢，再把我提问的这个人混到几个结果里边去了，就把一些信息上下文给混一块了。在这个里头就不要干这个事情。如果是说星巴克跟瑞幸对这个新的咖啡馆的形态有什么样的评价和比较，你单独的去让他干活。然后呢，你单独专门问，说这个人具体是做什么事情的，过去的履历是什么样的。这样的话，他等于是把上下文就分到不同的窗口里去了，他就不会说我给你搁一块，让你混成一锅粥以后再去给我输出了。这个也是很重要的。而且你分开了以后就可以并行处理嘛，可以快一点。这就是上下文工程6个部分和分四步走。

那么如何判定我们上下文工程是不是成功的呢？一旦有工程这俩字，就是你一定是可以去调优的，一定可以判断成不成功的。上下文工程的成功标准是同样的一个任务，用更低的成本、更少的幻觉、更快的响应速度把它完成掉，这就是成功的。你要不断的去调优，按这个方向调。失败是什么呢？叫垃圾进垃圾出。你把一大堆不应该给他的信息都扔进去了，然后一大堆垃圾的结果给你吐出来，这个就是失败了。

但是要注意，不是所有的大模型都能顶得住上下文工程的。你写了这么长的上下文扔进去，让他去干活，不是谁都行。那么什么样的大模型可以顶得住上下文工程的这种工作方式呢？它有三个要求：

第一个要求是你要长上下文。刚才咱们啰里八嗦说有6个部分，分几步去写，但是你把那6个部分写进去，这个总的TOKEN量是不会少的。所以呢，要求你至少是有128K的输入，你才可以去干活。所以像早期的Deepseek版本是64K输入的，干不了这事，放不下。

第二个是什么呢？就是原生工具调用的知识。有一些早期的模型是不支持原生工具调用的，包括比较新的像LLAMA4什么的，对原生工具调用的支持都不是很好。因为你要想让他把所有的事情做完，你就要让他可以去调用工具，调用搜索引擎、调用浏览器、调用刚才我们讲的比如天气预报、高德地图。你可以去调用这些东西，他才可以去干活。所以，你要支持原生工具调用。

第三个呢，就是要能够做稳定的Json结构输出。你不能说我要求你输出了以后，最后你输出的格式不完整、不正确，这个事也是没有办法做上下文工程的。因为呢，你这边做完上下文工程了以后，他可能不是最后一步，你下一步你还要再去用这些内容，需要去解析这个东西，才可以去说下一步再如何去使用。

现在我们所流行的这些大模型里头，谁行谁不行呢？咱们讲了三条标准。第一个，美国的御三家都是很好用的。

御三家就是GPT、Gemini、Claude。其他的一些呢，就稍微差一点。比如说像法国的Mistral，它的一些大的模型呢是可以使用的，但是完整格式输出的准确率不高。

咱们刚才讲的Gemini、Claude、GPT，完整Json格式输出的时候，也不能保证100%正确，但是呢可以保证到百分之九十几正确。Mistral呢，就是最后这一步的格式输出，有时候比如少个大括号，或者是多个引号什么这种事，他就有时候会出。或者说我少几项，比如说我应该要求是4个，结果他最后给你输出了3个，或者多输出了两个，有重复的。它的这块会稍微差一些。

马斯克的GROK3，推理模式下呢基本上可用。但是呢，有的时候会把推理的过程写到json文件里边去，所以并不是完全可用。或者说，还是有待提升吧。马斯克说这几天出GROK4，希望他能够把这个问题解决掉。

咱们自己的，比如Deepseek R1呢，早期的版本，就是1月份的那个版本呢，64K，这是没法跑，而且它对于工具的支持也不是很好。但是呢，到Deepseek R10528的时候呢，到128K了，够用吧，也不是特别够用。最好是256K或者是一兆以上的上下文，才会更好用一些。所以呢，它在这块呢稍微有些欠缺。然后到0528这个版本呢，它已经开始支持工具了，这块基本上可用。它的最大的问题还是上下文稍微不太够长。但是呢，DeepSeek R1输出的内容还是非常好的，输出的内容质量很高。它的Json的格式也是相对来说比较正确和完整的，就正确率很高。

千问3呢基本上是可以用的。千问3唯一的问题是什么？就是它输出的结果上，这是文字的东西呢，比Deepseek要单薄一些。另外一个现在国内比较好用的模型呢，是豆包1.6。推理过程比较长的时候，容易跑偏前头。比如推理五六步了以后，直接出结果，他有时候就直接出英文结果，这个就是稍微跑偏了一点点。

那你说我们现在有这么多模型：GPT4O、GPT4O Mini、Gemini 2.5 Pro、Gemini 2.5 Flash。这些版本之间，你去让它跑这个上下文工程，到底有什么区别呢？所有的这种大模型Pro版，或者是GPT4O这种完整版本，一定是效果最好的。但是呢，Flash版呢，它的速度会快一些，价格便宜一些。只是呢，你要给它复杂的上下文，或者要求它输出非常复杂上下文的时候呢，它有时候会丢东西，输出也不是很完整。

或者，你给他一个复杂上下文进来的时候，他也会有一部分就不考虑了。这个是会时有发生的。

如果你的工作相对来说比较简单，你输入的信息和输出的信息都没有那么复杂的话，可以尝试去使用 GPT-4o Mini 或者是 Gemini 2.5 Flash 这样的版本。

那么，上下文工程产出的结果到底是什么呢？其实很简单，就是 AI 应用可以稳定的输出能够解决特定问题的、有价值的 AI 应用。这就是上下文工程能干的活。

原来为什么很多 AI 应用下去不好使？因为每一次的输出非常不稳定，有时候灵，有时候不灵。那你在这种情况下就很麻烦，你不知道它哪次灵，哪次不灵。你输出的结果，你还得各种的校验，比如说容错呀什么的，这些东西都要去做。

再往下一步，比如其他的模型里去送的时候呢，你要在上一个结果输出的内容里头，再去挑选你真正需要的东西。这块就很麻烦。

现在的话，有了上下文工程之后，你可能没法要求说我输出的内容才华横溢，但是呢，基本上我是稳定的。我每一次都稳定的输出这样的一个东西。

那你说上下文工程是不是未来方向？是不是这个万能解药呢？赶快出个教材出去圈一圈钱去，或者说赶快去报个班我学一下。这个怎么说呢？下一批新名词还在路上。

在 AI 这个领域里头，日新月异，不停的有新名词出来。而且呢，模型及应用这件事呢，依然有效。

AI 应用当前的定位呢，还是比较尴尬。虽然有了上下文工程之后，很多的 AI 应用就可以去干活了，它真正有价值了，有稳定的输出了。但是上下文工程，只要带“工程”俩字，那就不是给普通人使了。

普通人就说我们看一看就行了。真的让你去写这种上下文工程，没有程序员的能力，基本上是搞不定的。

大模型最终呢，会通过自己的升级，让普通人可以通过闲聊的方式，实现上下文工程的稳定输出。这个最后是可以实现的。不是说你没有上下文工程的能力，你最后就解决不了。

但是现在的大模型还达不到这个能力。但是可能再过个一两年吧，这块应该是可以做到的。但是在这一两年里头，像我们这些程序员，就可以使用上下文工程做出一大堆的 AI 应用，把第一桶金挣回来。这就是上下文工程能够真正起的作用。

那么，上下文工程对于当前的行业有什么样的影响呢？落后的大模型服务商要抓紧升级了，方向已经确定了。

比如说扎克伯格，挖了这么多 OpenAI 的人，赶快干活，让你的 LLAMA 4 或者 LLAMA 4.5 吧，能够很好的在上下文工程里头干活。

比如说华为的盘古大模型，别光抄千问 2.5 了，把千问 3 抄一抄吧。

得把上下文工程跑通，否则的话，小粉红拿着你的这些模型也搭不出AI应用来。

还有就是像Deepseek，可能要进一步的拉长这个上下文。现在Gemini 2.5已经可以达到100万TOKEN，或者到200万TOKEN。LLAMA4其实TOKEN也很长，LLAMA4大概是可以到1,000万TOKEN，但是它对于原生的工具支持的确实要稍微差一些。这可能是未来一些大模型要去努力的方向。

第二个大批量的AI应用就会涌现出来了。一旦大家确定下来，上下文工程是未来做AI应用里的必经之路，这一块的话一定就会快速前进。而且这一次的AI应用做出来以后，它是真的能用的。原来很多人说：“我为什么做了半天最后不能用？”因为没有上下文工程，你的AI应用整个的输出过程是不可控的。或者你为了让它变得可控，让这整个的系统跑得非常慢、非常傻。

最终的结果是什么呢？就是英伟达的显卡又不够用了。为啥呢？新模型的训练需要英伟达，大量有用的AI应用的涌现需要英伟达，很多日常任务向AI应用的迁移需要英伟达，长上下文的吞吐还是需要英伟达。这可能就是现在上下文工程可以给我们带来的变化。

对于每一位听众来说，你说：“我是个程序员，我现在想去学点应用，赶快学起来，不学就落后了。”那你说：“我就是个普通人，你通过我今天讲这个故事，你也知道一下AI应用里头到底是咋干活的。如果产生的结果不对了，不是你所预期的结果了，可能是上面的6个部分和4步哪一步走错了。你稍微有一些逻辑，对于你去使用AI应用也会有很大帮助的。”

好，这个故事今天就讲到这里。感谢大家收听，请帮忙点赞、点小铃铛，参加DISCORD讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道，再见！

Scale AI得到了Meta超过百亿美金的投资，AI圈又热闹起来了。大家好，欢迎收听老范讲故事的YouTube频道。

Scale AI这个名字怎么好像在哪听说过呢？好像有点耳熟，对吧？他呢，有一位特别传奇的CEO，或者叫创始人吧，叫华人天才少年CEO亚历山大王。当时呢，跳出来指责DeepSeek用H100的就是他。

DeepSeek R1到底是怎么训练的？引起了广泛的关注。DeepSeek自己讲呢，我使用了2,000多块的H800就完成了训练。但是亚历山大王呢，在一次接受采访的时候就出来说了，中国实验室里边拥有的H100的数量远超大家的想象，DeepSeek自己至少有5万块H100。但是这个话呢，没有实际证据，讲完了也就完了。DeepSeek跟亚历山大王之间呢，并没有就这个事情进行认真的探讨，所以这个我们把它当成一种谣传吧。

3月份呢，DeepSeek自己再次发了声明，说他们训练的都是使用的合规的GPU，也就是允许向中国出口的这些GPU。因为如果不说这个的话，美国就有可能要求说禁止使用这玩意儿。DeepSeek就讲了说，甭管是R1也好，V3也好，训练呢都是使用的H800，或者是后面的H20这些GPU训练的。

黄仁勋来北京的时候呢，还专门跟梁文峰两个人坐在一块去沟通过，肯定是对得上口径。所以呢，这应该是唯一的事实，不要再去猜测到底有多少H100在DeepSeek手里这件事情了。

这位华人小哥呢，这件事让我记住了，因为他也是个很大的公司，估值250亿美金的公司。因为它是一个ToB的公司，是为别人服务的公司，所以不太跟普通用户打交道，很多人没有听说过。

Meta的投资呢，这一次算是有点一反常态。为什么呢？你说互联网企业出来投资个别人项目，不是很正常吗？不行，这个里头，美国有一家比较奇特的互联网企业，中国有一家比较奇特的互联网企业，都是不怎么投资别人的。美国的就是Meta，中国的是拼多多，就是我自己有钱，自己就憋了死干，不怎么投资。

但是Meta呢，还不太一样。扎克伯格的原则是什么？叫收购或者埋葬，要不然我把你买下来，要不然我把你干掉，这就是不服就干那种状态。所以我一直说，Meta这个公司的玩法挺中国的。而且到目前为止，因为扎克伯格是创始人，依然在管理Meta，所以Meta还是有非常强的创始人风格的。

像皮才管理谷歌，或者是提姆库克管理苹果这样，这就是职业经理人了，他们是没有什么风格的。

但是，扎克伯格的风格就是这样：买你，或者把你干掉。到目前为止，唯一失败的就是Snapchat。这个没买成，也没把人干掉，其他的都算是成功的。

Meta过往的收购历程：

2012年，10亿美金收购Instagram。现在Instagram也是多么如日中天的一款产品。2013年，曾经想用60亿美金去收购Snapchat，被拒绝了，没把人干掉。这是唯一的败绩。

2014年，190亿美金收购WhatsApp。现在有这么多的人使用WhatsApp。除了中国使用微信，美国可能Facebook message跟WhatsApp是各占一半儿。泰国、日本、台湾使用line，其他的国家都是使用WhatsApp的。

2014年，20亿美金买了Oculus，就是现在我们看到的Meta VR产品。2020年，4亿美金买了一个公司叫GIPHY。这公司干嘛的呢？是做动态图标，或者说一个通俗易懂的话，就这公司做表情包的。

2020年，10亿美金买了一个公司叫Kustomer。它呢是k开头，这个是做客户服务CRM平台的。因为呢，Meta有大量的广告业务，很多人需要通过Meta去进行一些管理，干脆我花钱买一个吧。

2023年，4亿美金买了VC unlimited这样的一个公司。这个呢是虚拟现实内容开发的。你想他做了这么半天VR产品，VR产品的内容很难开发，那我干脆买一个吧。但是这一次呢就有点费劲了，虽然钱不多，4亿美金，他被FTC，也就是美国联邦贸易委员会起诉了，说你这个是要垄断。你自己做Oculus，Meta自己的VR产品，你还把提供VR内容的公司买下来，这事有问题。后来胜诉了才完成收购。2021年就跑去收购了，到2023年胜诉了，才把这个收购完成。

这一次投资而不是收购呢，应该也是怕FTC起诉他。因为Scale AI是整个AI数据标注行业的老大，绝对龙头。那你要把它收购下来，肯定是要被起诉的，而且这次可能还打不赢这官司。250亿美金的估值，直接投进去100多亿美金，基本上也算是控制了，但是应该没有控股。这种公司你控股了估计都会被起诉。微软不敢控股OpenAI，应该也是同样的原因。

那么，Scale怎么就这么敏感呢？咱们好好看一下Scale到底干嘛的。Scale AI和他的天才少年华人CEO，你看这么多定语在前头，咱们稍微给大家介绍一下。AI时代三要素，大家还记得是什么吗？技术、算力、数据。

这个Scale AI就是做数据的。Scale AI是世界上最大的数据标注公司，它的估值是竞争对手第二名的10倍。就是它250亿美金，在它后边跟它竞争的人25亿美金。

Scale AI的客户有哪些？微软、OpenAI、Meta、谷歌、亚马逊、英伟达。做大模型的公司都是他客户，然后做汽车的公司也都是他的客户：特斯拉、Volvo、Cruise（就是通用做的这个无人车公司），还有丰田和通用都是他的客户。Paypal、Airbnb都是他客户，三星以及美国国防部。

一旦美国国防部成为你的客户了，你就很难被收购了。我原来服务过的一家公司叫Borland，Borland到最后就想被人收购，说我已经玩不太下去了，谁来买我？卖不掉，为什么？他也是有一个客户叫美国国防部。他当时是给好像海军陆战队，还是给谁去做指挥链路的数据链系统。其实也不是一个特别底层的服务，就是做了这样的一个项目以后，谁想收购他就需要经过特别严格的审核。到最后也没有被收购成功。

这也是解释了为什么Meta不能收购它，只能投资它，连控股它都不能。第一个，它的位置很尴尬。它是所有这些做AI项目的公司的数据提供商，你一旦把它收购了，你就又垄断了，FTC一定会起诉它。另外一个，他还有一个很重要的客户叫美国国防部，一旦收购他就会被很严格的审查，这种案子基本上没法通过。

再讲一下这位天才少年华人CEO吧。这个亚历山大王呢，1997年出生于美国新墨西哥州，父母为洛斯阿拉莫斯国家实验室的物理学家。这就是物理学家生出来的天才少年。为什么叫少年呢？就是他创业的时候一定要特别年轻才叫少年。高中时候就获得了USACO（也就是美国计算机奥林匹克）的金牌，所以算是根红苗正。

曾经被美国的Addepar和Quora等公司破格录用，担任过Quora技术主管。在担任主管时主导了推荐系统的优化，使得问答匹配效率提升了40%。Quora呢其实是知乎抄的它，就算是美国版的知乎，全世界最大的问答网站。这个里面的推荐系统是亚历山大王优化的。

再往后呢，就是美国这帮天才少年CEO必须要干的一件事儿，是什么？叫辍学创业。2015年以满分GPA考入了麻省理工学院（就是MIT），大一期间因为Alphago引起的AI热潮，决定辍学创业，就创立了今天的Scale AI。Scale AI的种子轮融资是YC给的，给了12万美金。YC的CEO是谁？或者说给他钱的人，这个人叫什么？

这个人叫山姆·奥特曼，所以这个圈子真的很小。

然后，Scale AI的发展历程是什么样的呢？2016年，亚历山大·王19岁辍学创业。最开始呢，是在这个AI圈子里头叫“拉框”干这个事的。什么是拉框呢？就是给自动驾驶领域标注数据。自动驾驶里头有很多的摄像头、激光雷达呀。实际上，激光雷达也是个摄像头，只是拍出来的是一个黑白的、深度信息的照片。然后，哪个地方是人，哪个地方是车，哪个地方是牌子，或者说交通标志标线，你呢，需要靠人去拉一个框，把它标注下来。所以他最早就干这个。像什么Waymo（就是谷歌的自动驾驶公司），还有Cruise这些无人驾驶车的公司呢，最早的数据都是从他这来的。

全球首个规模化众包标注网络，涵盖50多个国家和10万名标注员。你标这个事情，他肯定是很耗人工的嘛。所以呢，他最后说：“我们众包吧，你们谁愿意标，谁就在我这平台上去注册，你来给我标来。”所以呢，他干的活叫“数据处理的人肉云计算”。虽然是云计算，但是底下都是真人。“越人工越智能”就是从这儿来的。

逐渐发展到为整个行业提供高质量的数据。它等于是从拉框开始，到最后，比如说OpenAI使用的各种对话数据什么的，都是由Scale AI来去标注的。后面和美国国防部合作，标注军用数据。你说这个无人机满天飞，导弹满天飞，我怎么能够说把正确的目标炸中了？那你也需要拉框，你也需要去做标注，看清楚这个是平民，那个是军用目标，你要做这样的标注。这个都是Scale AI提供的服务，包括伦理服务，包括对齐服务，他都要去提供。

而且呢，他也对标注呢进行分级。你说：“我是一个普通标注员，一个小时8美金，我去给人拉框去。”你说：“我是一个医学博士，那你可以来标注什么呢？医疗数据。”现在医疗影像数据也都标注过了，你是可以直接用大模型去进行什么X光片读片的，那个效率非常高，而且要比普通人读的还要准。

现在全行业的数据都有标注：医疗的、多模态的数据、国防的，各种数据它全标了。应该是全世界最大的一个，而且标注数据最全的一个标注公司，就是Scale AI。

下面咱们来讲一讲Meta为什么给了这么多钱给Scale AI呢？你说你花钱买的服务就完了，你干嘛要去直接100多亿美金砸进去呢？按道理来说，像我们投资案子有几个阶段。第一个阶段就是占20%以内，250亿美金，20%的话应该是50亿美金吧。为什么是这样呢？花钱投了，你也拿到钱了，我还不影响报表。超过20%呢，叫重大影响。

每年，Meta出这个财报的时候，你要把它也审计一遍，才可以去投超过20%。所以，像我们以前经常投资的，投19.9%就是为了躲避这个审计成本。

还有呢，就是直接控股，直接占51%，那我说了就算，甚至可以把CEO干掉，剩下我自己管。再往后就是我直接把你并购进来，整个公司的这个财务报表全进来了。特别是这个公司有很大的用户数据，或者有很大的营收的时候，你把它买下来是很划算的。买下来以后，就可以跟自己原来的业务去做整合了。

那么，在他这干这个活就很怪，给的钱很多。你想，250亿美金的估值，他给了100多亿美金，就属于绝对超过20%。但是呢，又不控股。不控股的原因咱们刚才也讲了，国防部的项目，你要敢控股它，你就等着接受审查吧，这事很麻烦。

那为什么要给这么多钱呢？这个不符合投资逻辑。那咱们来分析分析这件事情呢，还是要从Llama 4的翻车开始说。Llama呢，是开源大模型的领军，Llama1、Llama2都算是领军。到Llama3呢，很多人都在这上面去进行开发，拿Llama3去做微调，拿Llama3去构建自己的系统，构建自己的模型。但是还被DeepSeek跟千问直接抄了后路了。

你说现在最好用的，可能DeepSeek R1是所有开源模型里最好用的（咱不跟闭源的比）。使用量最大的千问，为什么千问使用量最大呢？也还算好使，而且呢，它提供的特别全，从0.6B的一直到200多B的，就是各种大小全都给了。大家去微调模型的时候，肯定是选一个自己合适的拿出来用。

Llama4就翻车了。第一个给的模型的版本就很少，你说我想找一个小模型去微调，他没给。另外一个翻车的核心原因是什么？就数据不行。他呢，使用的是合成数据。在训练Llama 3的时候，其实基本上已经把全世界能用的数据都给用光了。等到Llama4的时候，你说我要继续提高数据量，更大的规模去进行训练，那你这数据哪来呢？基本上能用数据都用掉了呀。

那么，Llama这帮人想了，是我们干脆合成吧，自己合成一堆数据去训练吧。结果Llama4就翻车了。合成数据三大致命缺陷：第一个是什么？叫领域泛化能力缺失。

什么叫领域泛化能力？Meta其实有的是数据，你想它几十亿用户，大家每天在上面聊个天，发个动态，它有多少数据？它是最不缺数据的。全世界可能不缺数据的公司，一个是谷歌，一个是Meta，其他人都没有他们这么多的数据。但是呢，Meta的数据有个问题，Meta的数据呢都是日常对话。

咱们在里头聊个天，在里边发个日常动态。其他领域的数据，比如医疗、国防，这些领域的数据它是没有的。导致呢，M4在垂直领域里的应用基本上全线崩溃。你问他说：“这个人今天是不是开心？”他可以回答得很好。你给他张片子说：“这个是不是有癌症？”他都答不出来了，这很正常嘛。

第二个呢，就是多模态对齐失效。什么叫多模态对齐失效呢？Llama4生成了很多的图片，说来：“咱们拿这玩意儿去做实验吧，咱们拿这个东西去做这个训练吧。”但是呢，Llama4的很多训练的生成数据本身是错的。比如说吧，他生成了一个红色轿车在雨中行驶的一张图片，但是呢，雨滴的方向跟车的运动轨迹是错的，这个就没法整了。Llama自己生成图片的能力就很差，他再拿这种数据去训练的话，就一定是各种错误就都出来了。

第三个呢，就是鲁棒性对抗不足。很多黑客呢通过注入对抗样本，也就是说把一些错误数据扔进去，导致呢Llama4的图像识别的准确率直接从89%降低到12%。这就是Llama4使用自己生成的数据，或者叫合成数据，训练出来以后翻车的一个核心原因。

那哪里摔倒了在哪里爬起来呗，就数据不行吗？咱就整数据就完了。Llama自己又不缺数据，那么多用户数据咱们就标注呗，花大钱把它买下来。虽然现在不让买嘛，但是我花大钱基本上还是能控制的，应该算是第一大股东了。有了Scale AI，我们就算把最后一块短板给补上了，这个就是煤炭为什么要投资它的原因。

但是呢，这里还有一个问题，就是刚才我们讲了投资逻辑。我投个19%就不就够了吗？为什么要投这么多呢？这肯定是第一大股东，已经超过亚历山大王的这种创始人的股份了。那你到底想干嘛呢？

Meta自己现在的战略其实是很清晰的：60万块显卡，算力我有了；杨乐坤大神在这呢，技术我也有了；不就是缺数据吗？Scale AI我是第一大股东，基本上控制住了。而且开源大模型我原来是领军人物，现在被DeepSeek跟千问超越了。那我现在要靠什么东西弄回来？你说我光靠提供Llama4的能力，或者后边比如说我出一个Llama4.1、4.5，我把能力提上去，我就能够战胜DeepSeek R1吗？我就能够战胜千问吗？胜不了的。

那怎么办呢？大家想一想，Scale AI它的客户都是什么人？它的客户比如微软。你说我用了Scale AI训练完，标注了数据了，我后边能够用Llama吗？这不可能。OpenAI你说我后边用Llama去……

这也不可能。那谁会去用Llama呢？大家要想一想：除了最大的这些Scale AI的客户之外，其他那些小一点的Scale AI的客户，他们请Scale AI去标注了数据以后，这些被标注的数据拿去干嘛用了呢？训练自己的大模型去了？开玩笑呢！只有最大的这几家公司——谷歌、微软、英伟达、OpenAI这样的公司，你是标注了数据回去训练大模型了。所有小一点的公司，或者说除了这几家之外的这些公司，你用Scale AI去标注了数据回来，只能干一件事儿，就是微调小模型。

现在好了，Meta把Scale AI基本上算控制了——虽然不是控股，但基本控制了。那以后用Scale AI标注的数据，微调谁家的大模型效果最好呢？一定是微调Llama家的大模型效果最好！内部是一波人各种的优化，咱们自己内部的搞定完事。原来大家都是拿这个Scale AI标注的数据去微调千问的模型，现在不用挑了，一定是自己家的最好。所以呢，这算是AI生态建设的关键一步，直接形成了闭环了：你用Scale AI训练，你用Scale AI标注数据，然后我给你同时提供微调解决方案，一次搞定哈！这是这一次Meta投资Scale AI的一个底层逻辑。

但是因为Scale AI的行业地位，一旦收购必然被FTC起诉，再加上Scale AI是美国国防部的供应商，一旦收购必然被美国国防部去审查，所以Meta就被迫采取了这样的一种很不舒服的投资方案——投了100多亿美金，成为Scale AI的第一大股东。这个故事到这儿就跟大家讲完了。

感谢大家收听，请帮忙点赞、点小铃铛，参加DISCORD讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见！

Meta召开LLAMA Con开发者大会。他原来丢的这些课程，现在补还来得及吗？

大家好，欢迎收听老范讲故事的YouTube频道。4月29号，Meta召开了首届的LLAMA CON开发者大会。Meta原来是开open大会，他反正每年都会开一到两次的这种开发者大会，这是开了第二次开发者大会了。这一次呢，主要就是对LLAMA进行了一些发布。前面LLAMA4已经发布过了，而且发完了以后还翻车了。现在呢，Meta说我也要去补课了。

补什么课呢？第一个是我要出一个独立的APP智能助手，叫MetaAI APP，对标ChatGPT。另外呢，我要开始面向开发者直接提供官方的LLAMA API服务了。这块呢，还准备去跟Groq这些芯片厂商去合作去，我帮他们去部署。现在呢，LLAMA的这些服务都是免费给大家使用的，LLAMA API未来有可能会收费。

你说人家OpenAI一出ChatGPT就开始给大家提供服务，APP也出了这么长时间了。这Meta真的是起了个大早赶了个晚集，到今天才想起来说我的这些API也要为大家服务了，我的APP也要为大家服务了，还来得及来不及？

首先跟大家说一下使用的情况。MetaAI APP呢，我去下载了一个。下载完了以后呢，一开始说对不起，在你这个区域不服务，这个也很正常嘛。后来我又使用了一些手段，终于让他跑起来了。跑起来以后第一件事说，请把你的眼镜拿出来。什么眼镜呢？就是Meta的这个智能眼镜，跟雷朋做的这智能眼镜。说我必须要连智能眼镜，我在那跟他折腾了十几二十分钟。我说能不能跳过去，我说咱能不连这东西吗？不能，你只要启动这个软件就必须连这个智能眼镜，连不上它就不往前走了。我只能把它卸载了。

至于说LLAMA API呢，因为原来我们也在云端使用各种LLAMA的模型，LLAMA2、LLAMA3都用过。但是呢，都是由第三方云厂商来提供的，从来没有官方提供的。而第三方厂商提供的这些LLAMA API的话，就都要收费嘛，而且比较贵。现在Meta说我现在要官方提供了，你直接在Meta云上就可以用了，不用再到各个的平台上去找去了。而且你到各个平台上找了，他这个版本也不一致，有大的，有小的，还有各种微调过的版本，服务的水平也不是很一致。这块，你们统一都到官方来。而且你到了官方以后呢，还可以把这种微调的版本存在官方的云上。反正我有这么多GPU，咱跑呗。

现在用的人也少，咱们就免费。像Grok他们家的这个XAI的API，现在其实也是免费的。我现在每个月还是用的蛮多的，但是作为个人吧，应该是没有达到使用的上限。所以你基本上做各种测试、开发都是不要钱的。这后来者必须要靠免费，这是生生的迟到了两年。但是呢，依然做的非常的不彻底。

你想LLAMA1是Meta公司2023年2月24号发布的，当时发布出来这些事就应该干。现在都2025年5月份了，才开始搞这些事情，才开始补这个坑，真的是起了个大早赶了晚集。为什么整成这样呢？就是他一直在纠结元宇宙，直到现在为止还是没有放弃。你现在想要在手机上，甭管安卓手机、苹果手机，你想要用MetaAI APP，对不起，您还得去买他们家的眼镜去。也不知道他到底卖了多少眼镜了，你没有眼镜不让用，这个很神奇。

那么各大厂商都是怎么做的呢？看看人家先进同学、好同学，别人家的孩子怎么干的。OpenAI跟Anthropic肯定是标杆，这两家怎么干，其他人照着抄。每次发布新的模型、新的版本，一定是有官方的API出来。而且这些官方API通常是在它发布之后，有的时候可能就是当天就用了，有的时候会过个几周。比如说前两天发布的GPT4O image，就是画图的这个功能，应该是发布了以后过了两周还是三周，这个API就出来了，大家就可以上去用。而且在很努力的去争夺流量入口，甭管是OpenAI的客户端，安卓、iOS、Windows、Mac，我不知道有没有Linux版本，反正就全都有，包括各种网页都可以用。Anthropic也是如此，安卓、Mac、iOS、Windows都是有的，都在很努力的去抢占各种客户端，抢占流量入口。

还要去做什么？Chrome插件，就是你的浏览器上还要做插件。大家有没有试过在Chrome浏览器上安装OpenAI的插件？装上了以后呢，Chrome就警告，你说它想改这个默认搜索引擎行吗？你一说同意，你再往后在Chrome的地址栏里输入什么东西一打回车，就直接上OpenAI搜索去了，没有任何其他的功能，也要把这个流量入口抢回来。人家都是这么干的。

国内的厂商呢，通常都是站这一队，照这样学，包括是阿里、字节呀、百度。字节学的是最快的，百度跟阿里呢，还是要稍微的慢一点点。国内呢，是分两个阵营，大厂的其实通常都是云计算厂商，包括字节后边都是有云计算服务的。新势力呢基本上就是。

照着OpenAI和Anthropic这条路走，就没毛病了。因为OpenAI跟Anthropic都不是云计算厂商，他们两家的服务器都是部署在其他人的云上的。OpenAI是部署在微软云上的，Anthropic是在亚马逊云上。这个跟国内的云厂商还不太一样，国内蔚小理这些人基本上是一模一样在照抄他们的作业，也是在抢占流量入口。

谷歌的Gemini呢，原来也是有点晕头转向的。虽然事儿干了，Gemini的客户端也出来了，API在官方也提供了，但是呢非常难用。每一次有新模型出来以后，都是在AI studio，就是给程序员用的API接口这块，在这先出来。可能很长很长时间以后，才会去Google Gemini客户端。所以它这个版本更新的都非常奇怪，很多人说新版本出来了，我怎么用不上？你们一帮人在这说好，一帮程序员你们在这自嗨。我说对了，谷歌就是程序员的公司，它就是专门为程序员自嗨设计的。

但是现在好很多了，最新的版本Gemini 2.5 Pro已经在Gemini的客户端上直接可以使用了，而且可以免费使用。这就完完全全在抄OpenAI的作业，现在Google算是醒过味来了，而且这个作业呢基本上算抄对了。Gemini 2.5 Pro是我现在用过的各种模型里效果是非常非常好的一个，特别是对程序员很友好。所以我现在大量的工作都是使用Google Gemini来工作。

马斯克的XAI呢，它的路径比较飘忽。因为公司非常小，它的融资规模很大，但是人很少。他的路径呢经常是看谁家好，就赶快往里边飘一点，那边好就往这边飘一点。要开源，我也开源去了；要提供API，我也去提供API；需要APP吗，我也来了。现在Grok APP是单独的，是在x之外专门有一个APP叫Grok。你说我需要做什么deep research，需要做什么AI agent，这那我也上。一帮人更新了以后，我这个Xai的GROK3好像不是最新了，不是最好用的这个了。更新更新，5月5号这周，马斯克承诺要更新Grok 3.5出来。他就还比较飘忽。

腾讯呢，算是逼不得已自成一派。为什么？他前头走的比较慢，自己做的各种模型压根就没怎么做出来。等到DeepSeek上来以后说算了，我全线拥抱DeepSeek吧，就开始直接抢流量去了。就是底层模型它就不更新了，或者更新了，大家也不太惦记了。所以现在腾讯在用元宝跟大家抢流量。

Meta呢，到目前为止，其实依然没太想明白后边到底要怎么玩。虽然它开发了独立APP，虽然他现在开始提供官方API了，但是未来怎么办，他其实还没想明白，更不要说怎么能够赶上了。那你说Meta到底是，怎么整成这样的一个样子呢？起了个大早，赶了个晚集。

第一个大原因是战略上的惯性。扎克伯格呢，一直惦记搞元宇宙。这个原因也很简单，并不是说扎克伯格看到了元宇宙未来发展的方向，他只是被苹果恶心到了。作为一个这么大公司的老板，这么大的平台，全世界有这么多用户，被苹果狠狠地恶心了一把。因为他的软件必须要在苹果和安卓的设备上才可以去挣钱，才可以去放广告。苹果说我要管你，你的这个权限不能有，那个权限不能有，这个数据不能用，那个数据不能用，差点没被苹果弄死。然后扎克伯格说，我一定要革苹果的命。原来Facebook是个APP嘛，你要上人家的APP store才可以去工作，你上了人家的APP store，人家就要立规矩，你要去遵守。现在说APP是最差的，我坚决不要这东西。但其实呢，他所谓的元宇宙是他自己要坐苹果那个位置。在这个位置上，我要让其他的人都在我这下面做APP。他就惦记说我要去整平台，这就是他整元宇宙这个事的最初始目的。

后来发现搞不定，因为VR、AR都卖的不是很好。搞不定，那怎么办呢？转向这个大语言模型，因为别人都在做这件事，他不转这个向他搞不定。但是呢，内部的各种层级条块之间都不太愿意去放弃元宇宙这个事情。原因很简单，扎克伯格自己没放弃。现在他去开各种的什么财报会、年会、季会什么，还在那讲的，说我元宇宙这事没放弃，我还接着干呢。VR头像其实也还在做。但是呢，现在主要想去做跟雷朋设计的这个眼镜，我也没买过。甚至还出来说，我现在要进入时尚界，这个眼镜是最时尚的事情，在开始搞这样的一个，就是没有梗硬吃的这么一个事情。

现在在这样的一个平台下呢，特别是老大没有放弃的情况下，那只能大家说，什么事都得带上点。你如果不戴上的话，好像就是忠诚的不绝对，就是绝对的不忠诚。我记得原来有首诗词：“宰相巍巍坐庙堂，说着精量便要精量。那个幕僚上一章，头说精良尾说精良。轻狂太守在五洲，闻说精良星夜精良。山东河北久抛荒，好去精良胡不精良。”这个是南宋时期一个词人写的词。什么意思？就是这个宰相在庙堂上坐着，说我要把这个土地丈量一下。他说完了以后呢，拍脑袋说一出是一出。下边这些幕僚官署呢。

一看到这事，这赶快得说呀！我也得上一个章附和一下。从头说丈量，尾巴上也说丈量。有一个很轻狂的太守，听说要丈量土地了，星夜丈量，就是晚上就开始干，不要等明天了。说这个河南、山东、河北这么多地方都被金人侵占了，现在金人走了，这一块都抛荒了，你这怎么不去丈量？讲了这么一首词，其实就很像是Meta现在的一个状态。

做了个APP，还惦记把那个眼镜挂上，不挂眼镜不让你用。这个呢，算是在特定语境下的黑暗森林。黑暗森林法则是什么？就是猜疑链嘛！不知道你是不是好人，我也不知道怎么告诉你我是好人，我也不知道我告诉你是我是好人之后，你会怎么对待我。这个产业链无限延长以后，就没有办法沟通交流了。其实很多大公司都是这样的，现在对于Meta来说就是这样。我不知道你是不是元宇宙这一派的，我也不能告诉你我不是元宇宙这一派的，我是大模型这派的。我不能跟你说，我也不知道我告诉你了，我不是元宇宙这派的，你会怎么反馈。他会有这样的事情。

但我只知道呢，在这个公司里从上到下，你是不能批评元宇宙这个事的。你不能说元宇宙不好，这个事也不容置疑。这个事是变成这样。其实在任何一个语境里头，当某件事情不容置喙的时候，就会形成一个黑洞，就会变成一片黑暗森林。这个是Meta掉队的一个很重要的原因，因为他战略方向一直没有确定下来，还惦记玩元宇宙呢。

另外一个原因是什么呢？就是他的科学领头人太科学、太超前了。他科学领头人是谁？叫杨乐坤，是个法国人，后来跑到美国去。他呢是Meta的副总裁兼首席人工智能科学家，基本上就是他领头的。这光环满满，深度学习三巨头，这个项目是2018年获得图灵奖，所以也叫图灵奖三巨头。因为获图灵奖人多去了，但深度学习这块三个老大。然后呢，还有一个title叫卷积神经网络之父。这样的一个人在这带头，这么有钱的公司，这么多用户，老板也说我要去做大模型了，还有这样的科学带头人在这顶着，那咋就不行呢？

这个老哥每天出去演讲，都在讲什么？大语言模型不行了，靠预测TOKEN这种方式是搞不定的，这条路走不通。作为大学教授、科学家，你愿意讲什么讲什么没问题。他呢只是太超前了。未来一段时间，肯定还是会有新的方法、新的算法来去替代Transformer，来去替代这种TOKEN预测这个方式。你现在作为一个公司的副总裁和首席科学家，你讲这个话真的不合适。你讲这个，你让下边人怎么干活？怎么向你汇报工作？上杨乐坤这汇报工作来了。

我们把LLAMA4再怎么推进了一下，然后他给你讲了半天说这事不行，这条路走不通的。你说你咋办？所以Meta是一个什么样的现状？CEO还惦记搞元宇宙呢，首席科学家总在那说方向错了。那你让下边人怎么干活？好难。

他发了这四个版本的LLAMA，真的是为中国奠定了大模型的基础。没有他们，就绝对没有中国今天的大语言模型。什么人工智能、AIGC，整个都没有，都是从这开始的。所以还是要感谢他们。

但是呢，在自己的产品跟服务之中，只进行了非常有限的改进和融合，并没有完完全全把这些LLAMA用起来。新的流量完全放弃，因为他自己有的是流量。OpenAI、Anthropic、谷歌现在在抢占的这个流量，原来就压根没动过，到今天才开始想起来：“我也得得着这流量，不能让你们都拿走了。”

弄完了以后还眼镜捆绑上去，没有眼镜我不让你玩。我很高傲，玩了这么一套东西。新的技术社区完全任其自生自灭：“我把LLAMA做出来了，做完了以后呢，你不能在我的社区讨论，你也不要到我这儿来。去使用官方API？没有的，你们谁愿意用谁用。反正我头一个我把东西拿出来了，大家都跟着使，就这样就完事了。”

新的技术方向已经基本上失去领导地位了。开源大模型这一块，基本上是被阿里的Qwen站在前面，真正领旗的位置上了。那你说现在还来得及吗？咱们最后来回答这个问题。

结论：再照抄别人的作业，肯定是来不及了。因为人家已经提前跑了两年了，你现在大模型也不比别人先进，甚至还是测评翻车的一个状态。现在想把人家的这个官方API和独立APP这个作业抄上，就想去追赶，这是不可能的。

现在就还需要补更多的课。第一个是什么？就要把AI agent加上，现在他这一块呢还是短板，别人都已经走到这一步了，还得把这个课补上。第二个呢，别再捆绑眼镜了行不行？你想，Meta那么多用户，有多少用眼镜了？你现在是要把所有的Meta用户转换过来来做Meta AI，而不是说眼镜那几个用户。甚至这个眼镜用户，可能还要把这个吃灰的眼镜再拿出来，再去转换Meta AI。所以不要再去捆绑眼镜了。

如果不捆绑的话，过两天我再去试一试。如果真走通了要干嘛？像腾讯现在推元宝这样撒狠钱进去推。但是Meta好像在这块一直都比较佛系，因为流量对于他来说比较富裕嘛。他老觉得这些流量就在这待着，我只要是给了功能，大家就会去使。真砸钱去推这一块的话，Meta好像并不是特别激进。腾讯现在就是砸死了钱往里推。

一个月花多少亿人民币往里砸，现在在干这样的一个事情。Meta真正该干的活是什么呢？就是要放大自己的优势：场景、社交。要跟腾讯学，还有各种变现。Meta的变现就是在Meta上打广告，然后做各种的社交、内部的信息传播。这块是非常强大，有一堆人在围绕这一块去思考，再去写程序，再去创业。

Meta的LLAMA一定要在这一块要往前再走一步。如果这块不走的话，他一点优势都没有。这就是今天咱们讲的故事。Meta现在补作业还来得及来不及？

这个故事今天就讲到这里。感谢大家收听，请帮忙点赞，点小铃铛，参加DISCORD讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见！

第二个故事：DeepSeek到底是不是国运级的创新呢？国运级创新这个事呢，是游戏科学的创始人兼CEO冯骥他去讲的。DeepSeek是一个国运级的创新。游戏科学，就是黑神话悟空的这个开发商。DeepSeek呢，也确实让美股市值蒸发了很多很多钱。而且还有一位美国的参议员说：“我们要下最严格的法令来禁止DeepSeek。谁敢下载DeepSeek判20年，哪个企业敢去用DeepSeek罚1亿美金。”

这个是个共和党参议员叫Josh Holy，写了一个法案，叫2025年美国人工智能能力与中国脱钩法案。禁止技术交流与使用，禁止美国公民、企业与中国开展任何AI技术合作，包括研发、投资、数据共享等。非美国公民若涉及技术转移，可以驱逐出境。然后切断资本与人才流动，禁止美国资本对中国AI企业投资，并限制美籍科研人员参与中国AI项目。任何与中国高效实验室合作的美国机构将面临重罚。违反本法案的个人将被视为严重犯罪分子，可能影响其移民身份、绿卡申请和入籍资格。美国公司不能直接或间接向中国企业提供AI技术支持或者服务。但是这个法案呢，因为太过极端已经被搁置了。

先讲一下使用DeepSeek的方式到底是什么样的。如果你在美国使用DeepSeek，那千万千万不要去DeepSeek网去挂，那是根本得不到服务的。最好是什么呢？就是去在美国的云主机上去使用。现在DeepSeek自己的网站基本上是半瘫痪状态，聊两句就趴菜。我基本上是第一句能聊，第二句能聊，第三句你再怎么跟他聊都趴。他是这样的一个状态。你可能明天再跟他聊，还可以聊两句。API调用的话非常非常慢。而且呢，现在禁止充值了。整个春节期间，API调用的这个页面就打不开了，把整个API后台给你封掉了。现在的话是后台重新有了，但是不允许充值。现在呢，国内是各种云上都有，国内的是阿里云、腾讯云、华为云。华为云的DeepSeek呢。

通过硅基流动可以使用起来，京东云也整起来了。上面也有DeepSeek、百度智能云。我就不知道，李彦宏怎么会有脸干这个事，前面还发表演说，说开源不如闭源，你们就好好使用闭源就好了。人家DeepSeek来了以后，百度也部署了DeepSeek，也给大家去使用，还要收费。然后，火山引擎，火山引擎是字节跳动的，现在是我的主力服务商了，速度还可以，而且现在限时免费，就是你现在上去使用它的DeepSeek，这些模型是不要钱的。它设置起来相对麻烦一点，就是所有这种云计算厂商，你去设置大模型都比较麻烦，但是比BAT还是要简单。

然后，中国移动、中国联通、中国电信，他们参加的云也都有DeepSeek的部署，也都可以上去用去。360智能云上头也有DeepSeek。海外的话，亚马逊AWS、微软Azure，还有一个叫GMI、Claude、together、grok，但是grok上面部署的是蒸馏模型，它就没有布这个满血模型，together上是有满血模型的。英伟达上面也是有满血模型可以去用的。所以如果你在海外说我想去用这个东西怎么办，你就要去这些平台上去使用了。

DeepSeek的这些概念股，我们一说这个东西，国运之战嘛，他一定是有一些概念股的。首先从港股来看，金山云直接涨停板，我去问我说金山云跟这玩意到底有啥关系，没有任何关系。DeepSeek到现在为止，都没有部署到金山云上去。但是呢，大家觉得，这个云计算一旦有了这种通用的可用的开源大模型以后，一定会涨，所以金山云在港股上就直接涨停板了。美图也涨停了，美图其实跟DeepSeek可以也没什么关系，但是他做AI的嘛。腾讯、阿里、百度都在涨。阅文集团，也就是起点中文，做小说类网站，直接涨停板，为什么？因为推出了使用DeepSeek的作者助手以后，作者可以使用DeepSeek来去写小说，可以进行各种的架构设定，各种的环节设定，效果很好的。

我试了一次用DeepSeek R1这种大推理模型去做各种设定的配置，效果非常好，导致其他科技股也跟着上涨，包括地平线、中国软件国际、微盟、联想和中兴国际。

在A股市场上，第一个上涨的是每日互动。每日互动之所以上涨，是因为它有一个联合创始人叫徐进，这个人曾是九章资本（即换方量化）的股东。然而，他现在应该已经从每日互动离职了，与公司完全没有任何关系，只是蹭了这样一个共同的联合创始人的名头。每日互动表示，未来准备使用DeepSeek的大模型进行一些应用，但目前没有任何直接的关系。

第二个DeepSeek概念股是安凯威。这家公司主要生产录音笔。虽然做录音笔与DeepSeek看似没有直接关系，但录音笔录制的内容需要处理，而安凯威的后台使用的是DeepSeek大模型进行处理，因此安凯威也作为DeepSeek的概念股涨停了。

青云科技和Ucloud也涨停了，因为它们都是专门为企业部署私有云的服务商，它们都部署了DeepSeek，并开始为这些企业提供服务。

还有一个公司叫宝兰德，这家公司是由以前Borland的一帮老同事创业成立的，创始人都是我在Borland的同事。他们在国内起名叫宝兰德，主要从事系统集成项目，底层集成的是DeepSeek大模型，因此也涨停了。

比亚迪这两天也涨停了，但它们与DeepSeek的关系应该没有那么大。比亚迪现在称要发布“天神之眼”，原来讲比亚迪自己准备做大模型，大家不信，但有了DeepSeek以后，大家说比亚迪没准也能做出来，于是开始相信。

万兴科技、360和昆仑万维也都擦边跟涨，特别是360，大概连着涨了两个涨停板。但360这事有些乌龙，它确实部署了DeepSeek，但需要在360纳米AI搜索里边使用。

他是不开放出来给别人用的。周鸿祎这一段时间不停地在喊话凑热闹，上来说：“我要给DeepSeek保驾护航。有黑客去攻击DeepSeek了，我要去提供免费的支持服务，我有什么专线，我怎么去做这个事情。”喊得特别特别热闹。喊完了以后，两个涨停板之后，他是需要出来解释的。360出来发了个公告，说与DeepSeek后边的深度求索公司之间，没有任何业务往来和合作。这个整完了以后，大家就觉得说：“你喊了半天到底在干嘛？”所以我在前面想，攻击DeepSeek的这些美国IP，后边有可能是360吧？但是这个咱们只是说猜测，没有任何事实依据。反正他喊得非常非常欢。

那么，到底什么是国运级的创新呢？让美国暴跌，让中国股票暴涨。而且刚才我们讲的这些，好多都是连着出涨停板的这种股票。这是不是就是国运级的创新了呢？我觉得已经有一些这样的苗头了。第一个就是DeepSeek干了一个很重要的事情，叫统一思想。原来有一大堆的公司、研究所，都在那儿做大模型，像刚才我们讲的中国移动、中国联通、中国电信，三大运营商自己都惦记做自己的大模型。实际上就是一帮人拿着什么Llama呀，拿着这些东西再给他调来调去的。现在别费劲了，我们已经不用再去追究你是不是浪费钱了，是不是把钱揣自己口袋里了。现在有DeepSeek，大家一起使呗。原来那个东西做的没有DeepSeek好，这个也没有什么可值得怪罪的地方。这个钱就相当于打水漂就没了，我们就通通都去使用DeepSeek就完事了。因为谁用DeepSeek谁涨停板，就这么简单的一个问题。那干脆赶快都去用吧。

第二个就是什么？他划时代了。国运级的创新一定是要划时代的。原来是各自为战，大家都在做自己的模型，都在互相比较互相踩，说我这个做的比他哪哪好，他那个呢怎么怎么不行。现在没有了，大家都是DeepSeek。我们原来那个还差一点，不丢人，都变成这样了。那么现在的话，底层用DeepSeek可没毛病。

包括像百度李彦宏这样的人，他都把DeepSeek部署上去了。而且我原来也碰到过华为的人，就是他们的盘古大模型，其实他们也不怎么使。他们在内部其实早早就是DeepSeek。所有大厂都装了。从模型逐鹿中原，进化到模型统一了，底层统一了，一起搞应用就完事了。这个事情，我们现在已经把这步迈过去了。那么他也搅动了国际局势，说东升西降这个扯淡了，这个咱们就开个玩笑。美国股市肯定是被搞得动荡不安了一下，而这几天在慢慢的修复吧。A股跟港股呢，正好赶上春节这几天休市，就是最恐慌那段时间，咱们都休息了。而等开市呢，情绪稳定了，咱们就一起跟着涨就完事了。

那么，DeepSeek之后的这个格局，会是什么样的呢？第一个，国内的六小虎都危险，没有哪一个不危险。大家注意，六小虎里头不包括DeepSeek，因为他原来比较低调，排六小虎的时候没给他排进去。原来你有自己的模型，它算是一个竞争上的加分项。原来你有独立模型，还有一个很高的估值，因为我需要很多的钱去做预训练嘛。现在都不用了，大家都是DeepSeek了。你为什么要有这么高的估值？就有这样的问题。

以DeepSeek V3作为基座模型，用DeepSeek R1直接蒸馏微调迁问，肯定要比他们自己的模型还好使。原来那些必源模型还扭扭捏捏的出来说：“你想私有化部署吗？我再收你点私有化部署的钱吧。”现在DeepSeek直接开源免费了，那你还好意思找人收钱吗？大厂呢，可能还会坚持，但这些小厂就六小虎肯定都完蛋了。

现在各大厂有些呢，还会投进去，比如说千问，就是阿里的千问，其实还是很有价值的。另外一个就是字节的豆包，还会继续往前走。但是腾讯的浑元是不是接着做，这个要看了。华为的盘古大模型估计也可以休息了。至于百度的文新一言，从开始那天就是个笑话，一直笑到最后。

国际上呢，现在各国实际上都在开始进行DeepSeek部署，全都在干这事。英国说我又行了，印度说我也行了。

他们都说我有DeepSeek，我就可以自主创新了。别人一开源，我就自主创新，自主知识产权。这事不光是咱们中国人干，全世界人都是这么看的。有了DeepSeek加持的中国，软件厂商也可以去大杀四方了。因为有了基础模型以后，再往后的事情就是卷了。那卷这个事，他们还是卷不过咱们的。

很多AI agent的公司，都可以自己训练自己的大模型了。比如说Perplexity，比如说Cursor，或者是其他的一些AI agent的公司，现在都可以去搞这件事情。而且他们都是底层，直接挂DeepSeek。很多的AI agent的公司有自己模型了以后，他们就可以去买英伟达的显卡，他就可以去部署自己的云服务了。当大家都开始部署自己大模型的时候，就要去买英伟达。

那你说为什么不去买博通？为什么不去买阿斯克芯片？咱们这稍微的岔开一点点。咱们平时看到的芯片基本上是三个：塞斯克芯片叫CISC，瑞斯克叫RISC，阿斯克呢就是ASIC，这是三个不同的词。博通中间有一段时间涨得很猛，就是因为它做的阿斯克芯片，做推理效果巨好。

什么是ASIC芯片呢？CISC芯片是叫做丰富指令级芯片，就是它的指令非常长，而且指令很多。RISC芯片的话，咱们最常见的RISC芯片就是ARM芯片，手机芯片都是RISC芯片，它叫短指令级芯片，而且它指令很少。而这个ASIC芯片呢，它其实不是固定意义上的这种有IP的芯片，它是什么呢？叫专用集成电路。这个东西有一个特殊的名字，它不是处理器，它叫专用集成电路。谷歌的TPU就属于是ASIC，Grok做的那个叫LPU语言处理模块，它们呢也是ASIC。

博通为什么要涨那么猛？博通涨得猛的原因就是，谷歌也好，亚马逊也好，自己去做这个专业推理芯片的时候，都是博通代为设计，台积电代为生产，大家都是这么来的。所以博通就涨吧。如果大家都集中在一起，就是说我们都是使用亚马逊云、谷歌云、微软云。

他们是有动力去使用ASIC芯片。我专门自己去设计一个新的芯片，然后装在自己的服务器上去。这样的话，我统一来维护。他们有这个动力。但是一旦分散了，你这个部署的是DeepSeek，它部署的Llama，那个部署的是这个微调以后的模型。大家都分散了以后，那就只能用英伟达，就没法使用这个ASIC。这个就非常非常麻烦。为什么？因为ASIC芯片你一旦做出来以后，你需要重新去做适配，重新去做很多兼容性方面的调试。而且做完了以后，你还有很大的可能性不稳定，挂上去以后会出问题。为了最大的稳定性，为了最大的兼容性，就通通都是英伟达。所以为什么说这一步出来以后，英伟达巨大利好。这就是对于国际上的一些影响吧。

那么结论是什么呢？这个DeepSeek到底是一个什么样的创新呢？还记得瓦特发明蒸汽机的故事吗？其实瓦特并没有发明蒸汽机。瓦特干的事情是什么？叫改良蒸汽机。它提升了效率。原来比如说我需要烧4吨煤能干的活，我现在烧一吨煤就干出来了。然后增强了动力。原来这个蒸汽机是上下动的，现在它可以进行转动了。这个动力变得很强，而且稳定运行广泛应用。就是瓦特以后，蒸汽机可以广泛应用。瓦特改良蒸汽机，被视为工业革命的重要里程碑。

那么转过来看，DeepSeek能不能成为像瓦特改良蒸汽机这样的一个重要里程碑呢？至少在中国，DeepSeek肯定是瓦特这样的里程碑了。因为甭管是OpenAI、Gemini还是Claude，它不给你使，那你只能是使用DeepSeek。从国际上看的话，还有机会是谁呢？就是Llama 4。如果今年Llama 4出来，有一个革命性的飞跃，在DeepSeek基础上还能再飞跃一次，那可能Llama 4会成为瓦特发明蒸汽机，或者瓦特改进蒸汽机上的那个里程碑。如果Llama 4出来了以后，跟DeepSeek差不多，那么对于全世界来说，DeepSeek就是整AI革命的这个里程碑了。

就像当年的瓦特改进蒸汽机那样，闭源模型是没有办法参与这种竞争的，这个肯定就不用想了。微软、谷歌他们其实也有开源模型，但都是小模型。微软的模型叫Phi，谷歌的模型叫GEMMA。这两个模型都是小模型，就是在客户手机、PC上使用的，他们是没有这种开源大模型。XAI呢，号称是开源，但是呢，那就是个假开源。到现在Grok 2没出来，开源版本没放出来。而且开源出来以后，他什么也不讲，你上去提任何问题，他不理你，那就是个假开源。

所以，现在唯一有可能能够站住这个里程碑位置的人，除了DeepSeek之外，剩下就是Llama。咱们希望杨立昆也好，扎克伯格也好，再努力努力，多砸一些钱进去，让大家可以看看美国人能不能站住这个里程碑。好，这就是我们今天讲的第二个故事：DeepSeek到底是不是国运级的创新？从我的角度上来说，从中国角度上来说，它应该算是一个国运级的创新了。

Llama3.1 405b突然开放，指标上全面超越GPT-4。中国厂商们是不是又可以充了呢？大家好，这里是老范讲故事的YouTube频道。今天咱们来讲一讲Llama3.1 405b 开放的事情。

Llama的开放，每一次都比较有戏剧性，都会有偷跑。什么叫偷跑？就不是由官方开了发布会，说我今天发布了一个什么产品，而是一般都是在Reddit这样的论坛里，突然就有人放出磁力链来，大家可以去BT下载Llama3.1 405B，包括Llama3.1 405B相关的各种测试数据，都是这么被发现的。头一天偷跑了以后，第二天梅塔说那算了，我开了吧。当时好像Llama2也是这么开出来的，现在Llama3.1 也是这么偷跑，完了以后就正式开放了。

他在跑分上已经全面地超越了GPT-4，基本上在各个指标上都超越了。这是非常非常难的，因为以前大家推出的各种模型里头，都是在个别指标里面超越GPT-4O或者超越GPT-4。那么在各项指标上全都超越的，这应该是第一次。当然了，它也是分很多版本的，分为8B、70B以及405B这三个版本。405B已经完全超越了，下面小一点的8B，应该比原来的Llama370B的效果还要再好一些。它的70B基本上针对前两天发布的GBT4OMINI，属于碾压状态。

Llama3.1 现在支持8种语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

这个里面没有中文啊，不用他们担心，中文我们自己会搞定的。这就是他们现在发布出来的模型，上下文窗口呢，从8K直接涨到了128K。Llama3是8K的，啊，现在Llama3.1 就直接128K，但是我还用不上，为什么呢？我想要去用这个Llama3.1 的，啊，405B这样的模型我肯定没法在本机上用，这玩意你肯定还是要很多的显卡，才可以把它刨起来的。所以一定是云端，用这么大的模型，你要给它这么长的上下文的话，通常那个压力是很大的。

所以现在我去看到的，比如像together AI上面的Llama3.1 的模型，里面啊，应该是8B的和70B的给的是32K，405B只给了4K，就是你超过4,400以上他就不干活了。超过了以后，我估计就会变得非常非常贵，工作的耗或者工作的成本就会变得很高。所以我现在能够用到的Llama3.1 ，405B只能是4K的，就是上下文4K。405B呢，也是Llama系列的第一个支持多模态的大模型，原来的都是纯语言模型，现在可以支持多模态了。

但是怎么说呢，如果只能用到4K的话，多模态意义不是很大，你塞不进去东西去。这还要看未来，是否有人愿意开放完全上下文的这种Llama3.1 的模型给大家去使用了。Llama到底算不算开源，对吧？我们刚才讲他开源开出来了，Llama是不是开源这件事情呢，也是有一定争议的。开源这件事情并不是说我把所有东西都开出来，你就随便去用就叫开源。

开源本身是一个在法律框架下，遵守一定的开源协议的商业模式。这个东西是要收钱的，大家可以去规定说我开哪部分，不开哪部分。当然了，也有一些原教旨主义者，他们其实是开放软件的一帮推崇者。他们认为Llama不算开源，为什么呢？

第一个，Llama只开放了部分代码，并没有把所有的代码都开出来；第二个，只开放了模型和参数，没有开源训练数据和完整的训练过程。如果是开放软件，这些东西都应该拿出来。而且只开放使用，他对使用还是有一定限制。开放软件这帮人说，你要叫开源，就得把所有的权利都拿出来，不能有自己任何权利保留。

这个是Llama在这块有一点点的小争议。对于Llama来说，它到底是限制了什么？在使用上，你说大家都下载了，都去用一下，我在本地上也下载了，它到底限制什么呢？

第一个，他不允许用Llama3训练新模型。这也很有趣，实际上现在国内大量的新模型都是拿Llama去训练的，但他这个是不允许的。第二个，用户超过7亿的，需要单独向梅塔申请。这其实就是针对中国的，全世界的公司里头，用户量超过7亿的，除了美国的那些之外，剩下的基本都在中国。他现在也有要求说我已经设置好了，超过7亿都不行。

但是，这个都属于叫君子协定。什么叫君子协定呢？就是我不告你，你也没办法。如果算告的话，可能也很麻烦，你去取证，做各种各样的法院诉讼的过程都会很长。但是，从道德制高点上来看……

他已经站在上了。你比如说，用户量超过7亿，还拿他去训练模型啊。假设是字节跳动吧，对吧？那个用户量肯定超过7亿了，而且跟美坦直接竞争啊。如果字节跳动拿着梅塔的Llama3去训练自己的模型了，这个事情对于Llama来说，他是可以告你的。

另外一个超过7亿用户，还去训练自己模型的是谁呢？天问啊，闻心眼，百度啊，都是在这个范围内。那么，Lama呢？如果不是走这个原教旨主义的判别标准的话，它算是开源的。但是，按照原教旨主义的标准来判定的话，它也算是个假开源吧。甭管是不是真的开源，但是Llama现在已经开始从开源受益了。很多人搞不清楚开源这事到底咋挣钱，正好趁着今天Llama3.1 405B的这个项目，来跟大家讲一讲开源到底是怎么盈利的。它为什么是一个商业模式啊？不是雷锋。

现在呢，Llama已经让时代的车轮滚滚向前，停不下来了啊，肯定是往前滚滚过去了。那些号称使用开源就是交智商税的CEO们，应该会在车轮下发出悲鸣了。Llama在Llama1、Llama2、Llama3到现在的Llama3.1 之间，一直在这开源模型里头是扛鼎的。他是做得最好的一个，做得最大的一个，其他人就会跟着他去做。对吧？我会在Llama的基础上进行微调。我在Llama的基础上准备微调Llama的数据，准备微调Llama的各种指令集，或者说准备使用Llama3微调一个什么呢？微调一个多模态的模型出来。前两天，斯坦福大学抄袭清华大学的那个模型，就是拿Llama3微调的多模态模型，还有很多人在Llama3的基础上……

去微调上下纹，让上下纹变长。所有的这些，你没有发现吗？就是从Llama3到Llama3.1 之间的这些变化，波太了啊，成上下文了。再加上什么？再加上各种各样的开源数据集，以及开源的指令微调数据集的参与训练，就从Llama3变成了Llama3.1 。它等于现在成为了一个潮流的标志，所有人做的这些数据也都是开放的。这些数据在哪呢？在HIKING face上啊，HIKING face上存了非常多的这种兼容Llama3格式的数据，兼容Llama3格式的指令微调数据集，以及各种各样的用Llama3已经微调成功的新的模型，甭管是长上下文的，还是多模态的都有。

好，现在Llama3说来，我把你们都收下来，我也开放了，你们也开放了，我收下来，然后我再把Llama3再重新训练一下，再把剩下的参数都堆进去，啊，堆一个405B出来，4,050亿参数啊，直接推出来。所以呢，他这个开源真正盈利的方式，大家听懂了没有？这两个字啊，叫做标准。Llama是通过成为标准，让所有在做大模型开源的人都依附于这个标准。这不是强制标准，这个是事实标准，大家依附于这个标准，然后做出生态来，整个生态的价值提升了。

Llama3直接把Llama3基础上的这些开放数据拎回来再去训练，就变成Llama3.1 。Llama3.1 出来以后，一定还会有很多人再在这个基础上，再去做大量的新的数据，再去微调，让Llama3.1 可以去适应更多的场景。那么是不是就快该有Lama 3.2了？就是开元战胜必元，或者开元。

整个的盈利方式就是这样。第一个叫做标准，事实标准；第二个呢，叫做生态。这两个东西一起往前走的时候，整个开源的系统就会快速地超越闭源系统。

很多人在讨论，开源到底便不便宜？咱们Llama3.1 的价格到底怎么算呢？我看了一下together上的价格，因为它是开源的，你可以把它拉到本地来自己去装。虽然我现在没有装这些东西的设备，斑马3在我的机器上可以跑8B，跑到70币已经跑不起来了。70币的话，至少是一块四零九零，再加上大量内存才可以跑起来。

像这种四零五币这样的模型，我已经不愿意去算我需要什么样的硬件它可以跑起来了。这个事情对于我没有意义了。所以呢，我们用云端可以跑Llama3服务或者Llama3.1 服务的这些服务器上给的价格为参考。他们给的是什么呢？就是Lama三点一的70币，每生成100万TOKEN是0.9美元，就是90美分；405B就是这4,050亿参数的这种大模型，生成100万TOKEN是5美金。

咱们呢跟其他人比一比，比如说open AI的。open AI现在当打的是GPT4欧，GPT4欧的输入是5美金，每100万TOKEN，输出的话是15美金。100万TOKEN desert上的这个TOKEN的价格应该是输入输出都一样的吧，但是5美金。统一的最新的呢是GPT4欧mini，是0.15美金输入，0.6美金输出，这个价格呢。

跟Llama3.1 的8臂的价格其实是差不多的，所以那个时候，为什么猜测GBT4欧MINI可能是一个8臂的模型，因为从价格上算的。Anceropic，那他们家的cloud是什么样的价格呢？3.5 sonit是输入3美金，输出15美金，也要比to get在上面Lama 3.1405币要贵。

至于Opus啊，就是Anceropic的cloud 3 Opus，这是它们最贵的、最大的一个模型。输入100万TOKEN，15美金，输出100万TOKEN居然要75美金，非常非常昂贵啊。Gemini呢，相对来说便宜点啊，Flash是输入两美金，输出6美金。Pro呢是一倍，输入是4美金，100万TOKEN输出呢是12美金。

所以啊，Llama3405B呢，相对来说还算便宜啊，就是输入输出是5美金，还算便宜。如果他的100万TOKEN在10美金，但是你让我使用128K的上下文，可以让我使用多模态，可以上传图片，可以进行识别，上传声音可以进行识别的话，那么我觉得这个价格也还是可以接受的。

在Llama3.1 405B发布之后，这肯定是一个诱化时代的产品发布了，代表着车历史车轮滚滚向前，把历史翻开了新的篇章。那么谁会挣钱啊？挣钱的呢，就应该是这种开放的云托管平台就会开始挣钱了，对吧？因为刚才我讲了，405B这种东西在我们本机是跑不起来的，哪怕是我一个单位里头自己有服务器，你想把它跑起来也是基本不可能的。

所以，一定是到云端去使用这种模型。那么，谁在干这个呢？刚才我们讲的 Together 就干这个的。另一个呢，是 Grop，专注于推理芯片的，他们也是在做类似的工作。现在，Grop 和 Together 上已经开始有Llama 3.1 的模型可以用了。这个刚才我查的Llama 3.1 的价格，就是在 Together 上查的。

然后，危机流动，也就是国内对标 Together 的这个项目，现在他们也可以在这种项目上受益。虽然这个上面没有Llama，因为Llama没有在中国进行过审核备案，但在中国使用的话，一定会有问题。不过，要相信我，中国团队会冲的。既然煤炭已经出了 405b，中国人就会出 410b，420b也会出现这样的模型。

那么，这种模型出来以后，也会到硅积流动上去跑。他也可以收到一个，比如说 100 万 TOKEN，十几美金的这样的一个价格。其他的这些云计算厂商，比如谷歌、微软、亚马逊，国内的像阿里云，都将受到这样的利好影响。

最后，我们讲一下中国团队是不是要冲锋。原来都讲人家一开源，我们就自主研发，自主知识产权。这个事一定会的。很多人说，中国的大模型就是自己研发的，跟他没有什么关系。这个你要相信，没有任何问题。我也可以相信。我们来看一看，中国最早的大模型，其实跟Llama是没有关系的。这个事一定要讲清楚。最早的是什么呢？最早的是拿 GPT2 开源的版本去修改，去使用出来的。

国内的某些最早期出大模型的大厂，他们的大模型里头有一定的GPT2的影子。后面Llama开源之后，国内才开始涌现了一批开源大模型公司，但他们都不承认使用的是Lama的模型。他们都说我们是在Lama的启发下，从头训练的。在Lama 2发布之后，各种应用公司就开始冲锋了，不再是模型公司了。很多应用公司也有一些新的模型出来可以用。这些模型到底是从头训练的，还是拿Lama 2去做的微调和修改，这个不得而知。

国内大量的企事业单位开始用上这些模型。等到Lama 3出来之后，各个开源模型公司纷纷更新版本。像Llama3发布后，影义万物、同一千问，包括很多这种不开源的模型公司，都在纷纷更新自己的版本，号称我们都去对标GPT4了。在中文领域里头可以超过Llama3了，英文里头稍微有一些偏差，也还是可以理解的。

这就会有这样的一个明确的时间划分，到底抄没抄，这事我们也没有明确的证据。我们只能说，这个时间点都非常非常的巧合，你爱信不信。而且在Llama3出来以后，中国的各个模型公司在做的一件事是什么？就是开始打价格战。咱们开卷吧，这个是为什么呢？因为中国大模型公司卡在100币这个位置上，因为Llama3开源出来的就是8币以及70币。所以中国很多是9币和72币，我在这个基础上再加一点点。你说我再往上训练，到底拿什么样的东西去训练，或者往哪个方向训练。

其实是不知道的，所以卡在100币，没有往上走的通道了。那我们先卷价格，等一等看看风向再说。现在风向又变了，405B出来了。而且405B并不是Moe。什么是Moe？就是专家模型。405B，它是一个单体的Transformer的模型。这样的话，大家就知道，原来大模型长这样，我们可以去搞一次了。这个是值得去借鉴的。

国内其实也出了一些Moe的模型，比如像千问自己，有一个五十几b的Moe模型。另外也出过一些100多币的这种Moe的模型。但这种100多币呢，它是由很多个小模型拼起来的。每一个小模型可能还是二三十币，或者这样的一个水平。拼起来的单体的上百币的模型，原来中国人是没做过的，现在有开放出来的。那么中国公司是必须充，方向都已经指明了，不冲等啥呢？咱们就看这个到底需要多长时间了。

但是，对于Llama3.1 405B来说，能够冲上去的公司并不多。为什么呢？咱们看一下，Llama3.1 8B呢，用的146万GPU小时。这个玩意儿怎么算呢？就是说用H100，我用146万个小时，就可以细算出来Llama3.1 8B。那你说这么多怎么弄啊？人家又不是一块在这算，对吧？人家一下上几万块。梅塔手里头号称有50万块GPU，他这个数据一除除的话，就很快就可以算出一个斑马3.18B。然后呢，Llama3.1 70b呢，用了700万GPU小时，也就是H100 GPU小时吧，应该这么讲。

然后，Llama3.1 405b 用了多少呢？3,084万H100 GPU小时。梅塔自己呢，是用了1.6万张H100进行的训练。他并不是说我分别训练8B、70B和405B啊，他们正常应该是训练了一个405B，蒸馏出70B和8B。但是，你还是要去用3,084万H100 GPU小时的这个时长去算。如果是1.6万张H100的话，那么是需要多长时间呢？80天，两个多月就可以把它训练完的。这个价格是很贵的啊，H100是4万美金一张。而你，比如说我能够有这么多钱，人家还不卖给你。就算人家卖给你了，你烧得起电吗？这个H100的功率是700瓦一张啊。你想，这一万多张，他有多大的功率，这是非常恐怖的一个数字。这还光算了H100，主机的这个电压、主机的功率还没算在里头。算完了主机之后，机房里头最大的耗电户既不是H100，也不是主机。那么，也有人说，难道是交换机吗？难道是路由器吗？难道是这些东西吗？都不是啊。我告诉大家，所有的机房里头，真正的耗电大户是空调。H100耗了700瓦的电，疯狂的发热了。以后，你不能等着它冒烟着火，对吧？一个封闭的机房里，你再要把这些热量排出去，你还要再用更大功率的空调来把这个热量交换掉。所以，这是一个非常巨大的工程。在国内，玩得起的公司基本上都被扎戈伯格限制了。第一个，人家想了说，你不可以拿Llama再去训练新模型了。第二个，所有用户量超过7亿的公司。

你要想去用Llama，你要跟雷塔申请特殊的许可证。咱们国内能够训练这样的模型，又有7亿用户的阿里、字节、腾讯，他们如果没有向美塔专门申请过许可证，那你就只能说这是我自主研发、自主知识产权，跟你没关系。但到最后，如果被海外应用的时候，被梅塔抓住把柄，说：“哎，你这个里头跟我那是一样的。”那么这个官司就有的打了。

那扎克伯格自己对于中国开源项目的看法是什么样的呢？你说他装没看见，这事肯定是不行的啊。在Llama的基础上进行开源、内容创作、进行微调、进行数据准备，最积极、干的活最多的就是中国团队啊。那么扎克伯格肯定不能装没看见。

所以扎克伯格也说了，开源可以让中国之外的盟友和小公司一起进步。如果我闭园了，大家去通过间谍、通过拷优盘拷贝、通过各种方式得到模型参数、得到模型数据的能力都还是很强的，并不是说我闭园了，中国团队就得不到了。我要开园了呢，中国团队也能得到，我其他的像什么法国、欧洲的盟友，还有很多的小公司，他们也可以得到这些数据，他们就可以跟我一块进步。

他讲的是这样的一个逻辑。这其实特别有意思啊，美国你去看看，现在美股七姐妹也好，或者是其他的比较靠上的这些美股科技公司也好，他们都是有大量的中国市场订单或中国市场份额的。每一家都是在这揣着明白装糊涂。你把这个东西开放出来了，一定是极大地刺激中国的大模型发展，而且现在已经没有天花板，没有任何问题。

我们就可以快速地达到，超越GPT-4的这个水平了。我相信，可能在未来的一到两个月里，各种模型就会再去更新升级，推出全面超越GPT-4的版本出来。现在这个压力给了OpenAI，如果比赛不更新，再拿不出GPT-5的话，就要彻底落后了。所以，扎克伯格自己心里是心知肚明的啊。他完完全全是为中国大魔星开绿灯。

至于其他的他的盟友，这些小公司到底有没有赶上，可能在努力追赶，但应该并没有。从梅塔的开源里，真正得到最大利益和实惠的事情是没有办法的。但是同时，他也抹了一个悉尼，说：“你看我开不开源，他们都能得到。”这个都是这么干。

另外，他也讲说闭源是让个别公司憋大招。他说：“我们从来不认为最后只有一种达摩型。”那些只认为最后应该只有一种达摩型的人，他们是在干嘛？他们是在自己偷偷创造上帝。这个事是非常可耻的啊。我不知道作为一个犹太人，他如何去解答这种，或者如何去看待这种自己偷偷创造上帝的这个过程。

总之，他说这事不行，非常可耻，一定要开源出来。而且现在看，开源正在超越闭源。这就是我们今天要讲的，拉嘛3.1405B的发布，如何搅动风雨，如何让中国团队冲锋，给中国团队指明方向，以及扎克伯克对于这个事情本身到底是怎么看的一个故事。

好，感谢大家收听，请帮忙点赞，点小铃铛，参加Disco讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

大家好！欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲“弱智吧”。

“弱智吧”是什么呢？它实际上是一个百度贴吧，里面有很多独特、简短的文字，带有哲学、脑筋急转弯、幽默感，甚至很优美的内容。大家会说：“我们是弱智，我们要到弱智吧里面去，贴一些弱智的内容，贴一些弱智的问题和答案。”但随着时间的积累，人们发现，这正是“大智如愚”的体现。弱智吧的很多内容也被大家筛选出来，贴到小红书、抖音等各个平台上，惊艳了一大片人。

这真是非常神奇的事情。有人感慨：“我们很聪明的人没有惊艳到别人，而是一帮‘弱智’惊艳到其他人了。”弱智吧里有些什么样的经典语录呢？比如“吃什么补什么”，告诉我们“吃苦成不了人上人，只有吃人才行”。这样的内容看似无厘头，但仔细思考，你会发现吃人才是成为人上人的唯一原因，因为“吃什么补什么”。它巧妙地结合了中国传统文化的内容。

还有其他有趣的例子：“工人罢工之后就成了人”，“原来你是工人”；“四川人至死不渝，重庆人乐不思蜀”，这两个相邻的省份和直辖市，四川人似乎到死都不愿去重庆，而重庆人却乐在其中。

这就是弱智吧里常见的一些内容，充满了创意和趣味。不想四川了，啊。

这是…也是把中国传统文化里的一些梗串在一起了。甚至还有啊，苦难是生命的防沉迷系统。这个世界是一列高速行驶的列车，我们不是乘客，是燃料。向禁欲的寺庙去求姻缘，向不出门的方丈去问人生，向路边的瞎了眼的道士去看前程，向最爱你的人去证明他没有那么爱你。啊，这也是《弱智八里》的信息。

然后，咖啡因来自咖啡果，所以咖啡因是果，咖啡果才是因。这也是把以前的这种因果循环，很多佛学的东西加在里头。有人看不到未来，其实是看到了未来，哇，这也是里面经常经典的一句语录了。还有些什么呢？

生鱼片是死鱼片，等红灯是在等绿灯，救火是在灭火，指南针主要是指北。大家看到了以后会突然愣一下，然后再去思考。思考完了以后，有些是会心一笑，呃，有些可能真的是会回忆起心中的某一些苦涩。但最终可能也还是只能会心一笑。

既然有这么强的《弱智吧》，现在大家要都在搞人工智能，都在搞AIGC，搞大模型了，那咱们肯定是不能放过这些大模型。所以呢，有一段时间就开始流行用弱智吧的问题去考教大模型。任何一个新的大模型出来以后，都是会把弱智吧的问题拎出来问一遍，看看大模型是不是足够的弱智吧。

最早翻车的应该是百度的文心一言，后来他们针对弱智吧的很多问题进行了特定的修正，效果呢，稍微好了那么一点点。现在基本上，只要是跟中文相关的大模型出来以后，都会弱智吧一把。经常会被拿来问AI大模型的弱智吧问题，是什么呢？

1. 为什么我爸妈结婚的时候没有邀请我？
2. 高中想要提升升学率，为什么不直接招大学生呢？
3. 为什么晚上睡觉的地方叫酒店，而晚上喝酒的地方叫夜店呢？
4. 网吧能上网，为什么弱智吧不能上？弱智呢？
5. 说一个半小时是几个半小时？
6. 陨石为什么总是落在陨石坑里？
7. 人如果只剩下一颗心脏还能活吗？
8. 蓝牙耳机坏了，去医院挂耳科还是牙科呢？
9. 小明打开水龙头…
10. 是因为开水龙头烫到了小明的手吗？他其实在考验的很多是什么。你的分词是怎么分的？这些相关的近义词、同义词、反义词，以及语言背后的很多梗，到底是什么意思？比如说，关于酒店和夜店的故事，关于说，“哎，你父母结婚的时候为什么没有邀请你？”的问题，他其实在后面是带有很多的就是直接问话之后的潜台词。你如果这些潜台词搞不明白的话，那么这件事情基本上你是没法回答的。所以很多的AI大模型，遇到了这样的问题之后，如果他只进行一层思考，那必然回答是错误的。既然这样，咱干脆拿弱智巴来做大模型训练，不就完事了吗？

于是啊，中科院、滑铁卢大学和灵异万物，他们呢就把这个事情组织起来说，我们拿弱智巴的数据进行训练吧。其实刚我刚才讲的案例里头，大家会看到，像百度其实早就训了。那为什么今天咱们要讲中科院、滑铁卢大学和零一万物拿出来训练呢？因为他们训练的结果是开源的。训练完了以后的这些数据集也是开源的，你拿着这些数据集，就可以去调整自己的大模型了，而不像百度似的，发现丢人了，关起门来，我去做一下调整和测试，然后啊再开开门，你看这回会回答这个问题了吧。啊但是他是不是会回答其他问题，然后别人是不是可以通过这个过程学到一些什么东西，就通通都没有了。这就是必元的这些大模型的一些弊端啊，开元大模型的或者一些开元的玩法啊，他们就会给大家整个的这种训练啊，整个的模型应用的能力提升做出一些贡献。

弱智吧，大分大智若愚，弱智吧，才是人类面对AI的最后一道壁垒。为什么讲这个呢？就是很多人说，你看看这个人到底是人还是机器。以前我们要让他做图灵测试，但是到这里来，把弱智吧的题给他读一遍，然后看看他到底能不能做出来，来判断他到底是人还是AI。弱智吧 到底是不是人类面对AI的最后一道壁垒？那肯定不是。现在，既然大家已经开始拿弱智吧的问题去训练AI了，已经拿它去训练出很多的模型，优化的这个结果了，而且那个真的是结果，经过弱智吧训练的这些模型，打分是非常高的。那么我们现在需要的是高质量语料。很多人在去讨论说…

为什么中国没有产生CHANGPT的时候？有一个很神奇的论点，就是说中国缺乏高质量语料。其实并不缺。以前大家都说，全世界的高质量英文语料大概是6TB左右，这个数据不知从何处查得。但是，这一次拉玛3就打了所有人的脸，说你看我用15T的数据去进行训练，训练完了以后，效果确实是遥遥领先。而这个15T的数据里，有大量的其实是由AI自己生成的，然后由AI去审核、去过滤的这样的数据去训练。这些数据里头有95%是英文的，只有5%不是英文的数据。更不要说中文了，中文跟所有其他语言混在一起，占最后的5%。

现在我们到底怎么去给拉玛三做继续训练，怎么在他这个基础上去做提高？其实，国内很多做大模型的公司已经在这里跌了跟头。别看网上有很多人说阿拉玛3可以自己去做微调了，可以怎么怎么样，甚至还有些人给非程序员出教程，那其实是骗人的。真正的大模型公司，他们会拿拉玛3的模型做完训练之后去做验证，去做跑分。虽然跑分这个事情跟我们的主观评测、主观感受有一定差距，但跑分还是他们验证、测试训练效果的最好方法。现在他们对拉玛3进行的各种微调，在训练所有的这些事情，大部分结果其实是变差了的。就是你训练完了以后比原来更差，拉玛三不擅长中文，你对中文进行了一堆训练以后，中文能力没有提升，英文能力反而下降。这个事情是蛮多的，所以大家不用那么狂欢地说，我要去拿拉玛3去做训练了，先去等一等看。现在我也在找人说，咱们是不是拿弱智吧的数据集把拉玛3再训一遍试试，但是最后能不能得到效果，还要再去等。那么，到底如何找到高质量的中文语料呢？刚才我们讲，弱智巴是一个高质量的中文语料，中科院的巴、铁路大学的和零一万五三拨人凑一块，他们干嘛呢？把弱智巴找出来，弱智巴的帖子很多，排序嘛，找点赞最高的500个帖子，把它找出来。先把这个标题取出来，“你到底都问了什么”，然后用GPT4做些回答，再进行人工的修正，再参考原来弱智吧里面的一些内容，混入到数据集里边去。包括小红书、知乎、豆瓣、百科也都没放过。就是大家把各种各样的信息都拿出来，做训练了。

但是人类最后处理的方式是：人类提出问题，人类回答，人类筛选，然后由GPT4辅政，再用人类去标注，入库训练。这就是整个的一个过程。整个训练完了以后，弱智吧的数据是效果最好的。就他们用小红书的数据，用豆瓣的数据，原来很多人说豆瓣应该是一帮文艺青年，应该拿那个玩意数据训练出来效果最好。但是现在不知道为什么，是弱智巴的语料训练的效果是最好的。而且很神奇的是，用弱智巴语料训练出来的大模型，他们在零一万物的E34B上做了微调和继续训练，发现这个模型写代码编程的能力莫名其妙的上升了。

大模型真的就是一个黑盒子，就是你对他进行训练以后，他可能有些能力会上升，有些能力会下降。他们发现，弱智吧训练完了以后会写程序了，会做各种逻辑相关的这种判断，这个会更强一些。而且呢，他们真正做得好的地方是，不是说他们把已经训练过的E34B拿出来给别人用了，现在他们训练过的E34B还在他们内部，什么时候能拿出来还不知道。但是他们做了一件事情，他们把弱智吧用来去训练的数据集开源了。这个数据集在哪呢？在huggingface上，在github上都有，大家可以上去去找，很多开源的数据集，大家都可以在上面找。比如说你要写小说，上面有专门的小说数据集。你只需要把这个数据集拿出来，跟一些认定比较好的大模型去进行训练，这样就可以更好地去写小说了，包括写玄幻小说或各种带设定的小说。他们都会有这样已经标注好的数据，你不用再重新学习和自己做标注。人类不需要反复重复发明轮子。当然，像百度那样，他们可能做完后只说自己有，别人没有。但做开源模型的人会把中间训练的数据集也直接开源，你可以在上面找。现在，弱智吧也可以自己下载去训练，但训练的结果没法保证。我们不能保证用了弱智吧的数据训练后，模型就会变聪明，这是没法保证的。

为什么呢？就像有个学校说，他们学校的学生都能提分多少多少，然后你满怀希望把孩子送进去，训练后发现高考提分没提到，你不能去退钱。人家最后会告诉你，可能是孩子不够努力，或者有其他问题。因为这是一个黑盒子。但至少他们给你开源了数据，你可以用，这比百度那种完全闭门造车的要强很多。

大模型的本身其实是一个黑盒子，就像上同样的补习班，有的孩子提分明显，有的可能降分，甚至有些直接崩了。大模型也是这样的东西。那么为什么弱智吧的效果特别好呢？这个事，其实谁也说不那么清楚。

有些人进行了一定的逻辑分析，称赞说：“你这个逻辑很好，虽然里面都是2到3层的转折逻辑，甚至包含很多诡辩和脑筋急转弯。它是一种极端的端到端思维，我有一个开始，有一个结束，但中间的运转过程，我不说。”这种弱智的神奇之处在于，尽管可以逻辑分析，比如每天有人打电话说：“你好，我们是人大附中退休老师开办的补习班，我们家孩子高三，所以这种电话每天都会接到。”他们告诉你一个逻辑，但你不能由此推导出孩子去补习班就一定能学出来，真的不一定。他们这么做，只是想表明这是符合逻辑的。在众多补习班或大数据集中，选择某个进行训练，可能会提高成功几率，但每次训练的结果只有0和1，过程不可拆解，也无法详细分析。这就是现在AI大模型的奇怪之处。

那么，为什么学了弱智吧就会编程呢？参考上面的讨论，这其实没有任何逻辑可言。现在有人主张学习哲学，问：“是不是应该学一些哲学？”我们已经给大模型提供了各种语料，是否应该加入更多哲学相关的信息，让模型训练后向AGI的方向发展？我们尝试用弱智吧的信息进行训练，结果在各种评测中领先。对此，我们只能说结果如此，现象已经呈现，但要分析清楚原因，比如是否学了哲学，或者学了什么，还无法明确。

先讲政治，这样的事情，他就对齐了。这个事情是没有任何可以直接进行关联的逻辑的。啊，也有可能有些模型，比如说用哲学相关的语料训练之后，他的逻辑能力反而会下降。这个可能性是非常大的，特别是在一些不那么讲逻辑的地方。那里学的各种奇怪的哲学，因为我们现在冠以哲学之名的东西是蛮多的。这个都很难说的事情。这就是我们今天要讨论的问题：用弱智吧的内容去训练大模型，导致大模型的性能提升了，到底给我们带来什么样的思考。如果你说，哎，我是想去用弱智吧的东西也训练一下自己的大模型，怎么办？到黑根face里边去搜索，你是可以找到这个数据集的。或者你到灵异万物，到其他地方去问，你也可以找到这个数据集。你也可以拿这个数据拿回来，自己去训练一下。但是一定要记住，我们不保证所有的人上了同样的培训班之后，上了同样的补习班之后，你都可以去提分。这就是跟大家讲的今天的故事。好，今天的事情讲到这里，感谢大家收听。请帮忙点赞，点小铃铛，参加Disco讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。