硕鼠的博客站

大家好，欢迎收听老范讲故事YouTube频道。今天咱们来讲第一个故事。

Llama3发布了，李彦宏是不是被打脸了呢？Llama3突然发布，又是一个遥遥领先。它呢，发布了8B和70B的两个版本。8B就是80亿参数，70B呢就是700亿参数。8B的，我其实已经试过了，就在本地已经装上了。这个某些方面，接近了原来，或者超过了原来的Llama2的70B。包括一些咱们在本地跑的这种30多B的，这种就是300多亿参数的模型，它已经都超过了。而且速度还飞快。

啊，70B呢，据说已经超越了cloud 3的中量级模型。Note 3是有三个模型的：一个是特别微小的，就是可以在手机上跑；一个是中等量级的，是可以在PC本地跑的；然后还有一个是那种特别大的，特别大的，是可以对标GPT4的。70B的基本上已经超过这个中等量级了，也超越了GMINI 1.5 Pro。现在大家想去试GMINI 1.5 Pro的，可以到AI studio.google.com上去试，那个是可以免费用的。也超越了现在70B发布出来的版本。普遍他们自己讲的是超越了GPT3.5，但是呢，还达不到GPT4。这在所有测试数据上都是这样。我相信梅塔应该不会像咱们似的，专门做一些调优以后去跑分，不像咱们这么无聊。

在现在的这种开元大模型里头，同等体量的效果最好。咱们在衡量一个开元大模型的时候，如果它没有一些特别革命性的变化，我们一般是怎么衡量它？就是你的体量大小。你比如说大家都是8B的，你跟这个8B的比，你是最好的。这个都属于是同等体量的。你说我一个8B的…\n非要跟一个几百臂、几千亿参数的模型去比，这个事呢，就属于叫不公平竞争了。那么70B的模型，他们现在基本上应该是可以的。注意，GPT 3.5有多少参数是1,750亿，175B的一个。GVT 3.5 其实它已经超越那个时候了。所以呢，大家都在比，这个有点像什么呢？有点像拳击，先看重量级。我如果能够越级干掉一个老拳手，一个8B的，可以干掉几年前的175B的这个，其实已经算是这几年我们可以看到的技术进步了，这个是非常不容易的。他呢，也超越了啊，Metro的这个medium版本，就是这个中间版，但是达不到这个launch这个版本，master的这个最大的版是可以接近GPT4的。然后呢，也超越了千问，同一千问也超了，体验呢肯定是上升了。

第一个是8K上下文。咱们讲说这个大模型，做上下文增长其实挺费劲的，对吧？传统的Lama two是4K的，就是4,000字，现在呢可以上8,000字。大家注意，这个上下文不光是输出8,000字，是输入加输出加一块8,000字。所以呢，你比如说你输入写的比较长了，那么输出就会比较费劲。因为我最近在尝试用这个东西写小说嘛，我就特别喜欢像啊零一万物的200K的上下文，20万字，所以我可以写特别多的这个背景信息扔进去，说来照这个背景信息，给我输出个2,000字出来，哎，那个效果就非常好。

现在的这个新的提升呢，就是包括整个新的框架的提升，他整个训练的效率也上去了。大家要注意，妈妈，其实真正核心的是什么？就是这个框架。为什么说他这块框架厉害呢？就是其他人，包括像刚才咱们讲的名义万物啊，extra，好多都是要参考它的框架，然后在这个框架基本上再去改。如果Lama把这个整个框架的效率提升了，可能我们很快就可以看到大量的这种大模型。一个一个升级，升级完了以后，发现我们都变快了吧。这个是开元大模型做的最大的贡献！而且呢，Llama3啊，现在有更强的推进能力和代码能力。但是我还没有尝试让他写代码，我让他试了些别的——他的安全性提升了。你别看他开源的，你可以弄到本地来，你说你让他干点坏事啊，干不了。我自己亲自测了一下，因为我在尝试写小说嘛，稍微写的不太合适了，他就直接告诉你说：“对不起，后边我没法给你写了。”你让他给你写一些黑客程序啊，一些这种有害代码呀，他都会直接拒绝你。这个是现在做得非常好的一点！但是我相信，这样的这种模型，你按道理说，你对他进行微调，或者对他进行PUA，还是有可能能够让他去做一些突破底线的事情。特别是这个模型现在到我们自己手里了，对，那我就可以反复PUA他，然后找到到底哪一个提示词可以把它这个坏的一面释放出来。这个事还是OK的。我现在是让他去写小说，肯定是写到一些过分的地方，他就退掉了，还没有找到刺激他的正确的提示词啊。这个我相信应该是很多人会去找的。超大规模的预训练数据——Llama3，最后告诉大家说，大力出奇迹，这条路依然走得通。扎克伯格花钱买了35万块H100，加上他原来所有的这些H100，然后呢，拿这么多的H100去进行训练，而且他的训练数据的量，是原来Llama2的好几倍啊。现在有15T的训练数据，这些鸽子里头的训练数据质量非常高。他们强调如何利用高质量的训练数据，比如用Lamar对所有训练数据进行驱虫。虽然有些数据质量好一点，有些差一点，但他们会挑选最好的。此外，他们利用Lamar生成新的训练数据，因此拥有大量由Lamar生成的训练数据。这表明大模型正在自我迭代，Lamar生成的数据被用来训练Lamar3。

当然，也存在一些潜在问题。例如，在对话中，模型可能会自称是GPT、Gemini或文心一言，因为即使通过大模型清洗训练数据，也未必能完全清除这些信息。对于版权数据，Meta的态度较为模糊。Open AI使用大量YouTube视频进行训练，而谷歌已指出这可能违反视频协议。Meta同样使用大量版权内容训练，声称部分数据得到授权，部分来自公开网络，这在法律边缘试探。尽管模型开源且免费，但起诉Meta并不容易，因此多数人选择针对Open AI。值得注意的是，尽管该模型支持30多种语言，但非英语内容仅占5%，中文内容的比例更少。\n所有英语之外的内容，就是5%。也就是说，英语内容是95%。是这样训练出来的一个东西。我尝试让他写小说，他经常还是会在中文小说里头加大英文，或者写到第几章以后，就后边都改英文了。这个… 现在肯定还是需要再进行中文微调。Lamari 二杠有一个专门针对中文的微调版本，对中文的支持会更好一些。但是既然他把这个东西拿出来了，就是让大家去微调的。在聊天的过程中，对中文的支持也没有那么好。当然，后面还有超大杯。现在我们能够拿到的是8B和70B，已经放出来给大家用了。8B的这个部分，我在我自己的机器上已经测过了，没有任何问题，而且速度很快。70B呢，你需要128G的内存才可以跑起来，我的机器跑不起来。但是呢，我到Poe上去试了一下，试的效果极烂。因为试的人太多了，把Poe的服务器给挂崩了。Poe没有给他放那么多的资源和测试，所以经常一点完了以后他就不动了。这个70B到底效果怎么样，我并没有进行很多的测试。其实还有一种测试方式是，你可以到自己到云服务器上去租。租一台4090，就是单4090显卡的云主机，一个小时大概两块多钱，3块钱人民币。如果不是有特别集中的使用，就不建议大家去租这个玩了。后边还会有多模态的大模型放出来。现在这两个还都是文本模型。前面也跟大家录过很多视频在讲，梅塔做了这么多年的元宇宙，在多模态这块的积累，其实是蛮深厚的。后面多模态的大模型出来，我们还是要去稍微的期待一下。因为我已经用梅塔AI去画了几张画了，效果其实还可以。我最近也试了字节跳动的绘画程序，什么视频程序，我都试了。然后也试验了阿里的通一千问的绘画，梅塔AI的绘画，其实现在效果已经很好了。你就这么想吧，stable diffusion的最新的版本的效果这么好，那么国内这些用Saberity future去搭模型，搭框架的，不管是字节的，还是阿里通1,000问的那个…\n效果一般也就上去了。虽然达不到像Mijili那么好控制，但是呢，也都还可以使用。谜坦AI的这一块呢，还是可以去试试。后面呢，还会有一个400币的模型会出来。400币是多少？4,000亿啊。4,000亿呢，现在还在训练和调整之中，还没有彻底弄完。我估计训练应该训完了，但是这种模型就是训完了以后，最后的这个调整过程是非常麻烦的。那么有可能开源。为什么说有可能开源呢？就是前面这个group one开源的时候，314币，3,140亿参数的时候，其实我是录了一条视频，马斯克还骂了一顿。我说，你开一个这样的东西出来，没有100万人民币的服务器，谁也跑不起来。你说你弄他干嘛使？而且还是个MOE的模型。MOE是什么？就是这种专家模型，就是它是由8个小模型凑的，每一次动两个啊，就是每问一个问题，它有两个小模型去工作。你即使这样，还是需要上百万人民币的服务器，才可以把它带起来。巴马3的400币模型，它不是MOE，它是个单模型，实实在在的有4,000亿参数。它不是说像group one那样，每次跑的时候，比如说我整个1,000多亿的参数，剩下都休息。这样的模型，估计至少要上千万人民币的设备，才有可能让它跑起来。所以这样的模型，到底最后会不会开出来，不好说啊。

梅塔AI呢，现在也放出来给大家试，就是大家可以到AI点梅塔.com上去试啊，AI点meta.com去试尝试这东西啊，已经可以去聊天了。而且未来呢，就是梅塔AI呢，会到全线的啊，美塔相关的产品里头去用。比如说你可以到WhatsApp, Messenger, Instagram就可以用。怎么用呢？你直接给他@梅塔AI，然后你就可以告诉他说…\n我跟谁谁谁在WhatsApp上聊天儿呢。聊着聊着我就哎，突然想到一个问题，问美美塔AI：“天气怎么样啊？或者有什么事啊？给我解一个什么什么东西出来。”他就干活去了。这个真的很棒！或者你在这个里头写一个斜线”imagine”，就跟咱们在那个discount里的调料制作过程一样，直接就能画画去了。现在这个功能已经在30多个国家的WhatsApp、Message和Instagram上上线了。还会在哪里出现呢？在雷鹏的梅塔眼镜上，或者在快速3上，也即将登陆。

现在Instagram上的修图工具也是调用的梅塔AI。你可以告诉它：“把这帽子给我从绿的换成红的，或者不要戴帽子，绿的不太吉利。”它现在已经可以执行这些任务了。我测试了一下，这个只吃英文。现在的维卡AI，你上去以后可以说：“我要试一下。”据说是在30多个国家开通了。然后我特别逗，用英中文提了问题，提完问题以后，吉塔AI用中文回答了。它噼里啪啦答完以后，屏幕闪了一下，那个回答的所有内容就没了，然后用英文告诉我：“对不起，我现在无法理解这个中文，等我知识更丰富的时候再告诉你。”它这样的一个东西，实际上是可以做到的，只是效果还没那么好，所以没正式推出。

大家要知道，Llama（Lama）其实一直是整个开源AI界里的领头羊。所以现在有很多人叫什么呢？叫开源GPT4来了。有很多人写了这样的标题，很多人都在想去做开源，但只有Llama氏，在整个的开源行业里头，真正起到了扛鼎的这个位置。为什么？因为所有的其他人，都是在拉马的基础上去做的。其实，拉马一出来的时候，并没有那么多响动。因为大家都知道，给你一个开源软件或系统，你要把它刨根问底并不容易。在拉马一刚出来的时候，你想去深入研究，这事儿是很麻烦的。到拉马2出来的时候，就已经非常厉害了，它彻底打破了垄断，打破了Open AI和Cloud这样的程序的垄断，彻底推动了开源文化。特别是在拉马2出来的这段时间里，比如我用的Olama，还有Lam Studio，各种各样的开源工具包，让我们可以在本地运行这些大模型，各种开源生态都搭建起来了。

这是从拉马尔开始的，而且为整个行业指明了方向。很多开源大模型直接用了Lama 2的数据结构。像我前面还去跟零一万物的Wechat录过一期节目，有人说，你们是不是抄Lama 2了？他们说没有，我们只是用了这个数据结构，但所有数据都是我们自己的，所有的训练也都是我们自己跑的，只是最后的结构与LIME2相似。现在大量的开源模型都是用Lamar结构的，无论你是用Lamar进行微调，还是从零开始训练，最后都会塞到LIME2的结构里。

现在，这真的给很多人创造了新的机会。比如零一八五、Matro等，都号称可能与Lamar2的架构有些像，但他们每一家都会在基础上做一些创新，比如调整某些参数，添加新的算法，提升效率或在特定环境里更好用。但底层都是拉马2，它彻底推动了行业变革，大批以拉马2为基础微调出来的模型应运而生。\n现在，各行各业都在运转。我去日本时也看过，日本当地的大模型，比如NTT的或像LINE这样的，大多数都是基于拉曼2进行微调后使用的。整个大模型行业中，真正赚到钱的基本上都是利用拉曼2进行训练而获利的。像百度、阿里这样的公司，可能还没赚钱，就连Open AI也在亏损。然而，利用拉曼2赚钱的现象很普遍。

李彦宏曾说，开源大模型会越来越低级，但这句话显然已经打脸了。Llama3发布后，我相信它无需达到400币，可能70币就已经能碾压文心言3.0或3.5。现在称为3.5，它没有任何问题，甚至可以碾压需要付费的文心言四，70币足以做到这一点。

我个人一直很支持开源，因为我的朋友是天空开物基金会的负责人，而我本身是做开发者关系出身，也是该基金会的顾问，所以我自然站在开源这边。不过，我要说的是，李彦宏，你怎么又在说这种大实话了呢？我遇到过很多次他这样直言不讳的情况。比如以前在盛大网络，我们起诉百度抄袭我们的书，特别是小说。盛大文学那时有一个系统，专门在百度搜索我们的小说，结果发现排在前面的不是我们的，我们就起诉。结果发现排在最前面的是百度文库，对此，李彦宏就说…\n“了说，你们这帮人就是来蹭我热度的。”
他们是一小公司，对于当时的百度来说，盛大确实是没有他大。所以他说：“你是一个小公司，你来起诉我，你就是想蹭我热度。你希望通过起诉百度这个事情，让更多的人来去看小说。”最后，李彦宏是怎么办的呢？他是把百度文库里边的所有小说全删了。法院也是判盛大胜诉了，啊，胜诉了我们获得了多少赔偿呢？50万人民币。这个就没法讲了，因为当时盗版的赔偿上限就是50万人民币。你说这个事情他盗版了对不对？他肯定不对。但是呢，我们需要什么？我们需要流量。你别看我们得到了50万人民币的赔偿，我们还胜诉了，但是每年盛大向百度花的钱，我们上这去投放，希望百度能够把盛大的小说，能把起点排头一个，每年花好几千万。那一年他就象征性的要退了我们50万。在这个过程中，我们通过起诉百度，100又可以得到大量的流量。然后啊，你看这个书应该到起点那边去看去，对吧，大家有这样的一个印象。这是第一次啊，瞎说大实话。其实他说的话呢，就是有道理啊，但是呢，很多跟大家的认知的，或者说这些道德他是不匹配的。

第二次赶上李彦宏瞎说大实话，又是我赶上了什么事呢？我当时离开盛大了，后来去了猎豹移动。到猎豹移动以后啊，我们开始做隐私保护，怎么能够让用户啊，把隐私保护起来，做了这样的一个功能。袁弘又上去瞎说大实话去了，说中国用户根本就不在意隐私，隐私保护这个需求就是个伪需求，你只要给他们一点点方便，他们就很开心的用隐私出来给你换。当时我们觉得这怎么可能呢，这个事太违反常识了。你跟任何一个人说你要隐私吗，他都说要啊。后来我们发现李彦宏又在瞎说大实话，是什么呢？我们跟用户商量说，你给我10块钱，我帮你保护一下隐私，行吧，用户说不给。隐私啊，我要，但是要钱，没有。它是这样的，所以保护隐私是个伪需求啊，你如果是个真的需求啊，那你就应该老老实实为保护隐私付钱。对吧，没有任何人愿意为这个事付钱啊。你说我现在要拿你的数据回来，你要去给我签这个用户执行同意书，签完了以后我拿你的数据去做预算了。但同时我给你提供了搜索服务，提供了其他的各种推荐服务，你干不干呢？啊，一帮用户就开开心心去干去了。对吧，所以李彦宏又在不对了。那么这一次呢，依然如此。什么叫瞎说大实话？就是真话，这说的都是真的，但是呢，有很多事啊，他叫可以做，但不可以说呀。对吧，李彦宏瞎说的大实话，就是你都可以这么干，而且我们在圈里的人呢，也都知道这事就这么回事，但是你不能拿出来说。对吧，你也作为一个BAT，虽然现在B稍微的这个衰落了一点，也算是国内大佬，你把这种大实话拿出来说，他是有问题的。而且还有一点是什么，就是大家老说他瞎说大实话呢，就是他每次干完了这事，在百度自己身上呢，也没得到什么好处。

那么李彦宏这次说的是什么呢？开源模型会越来越落后，这个事是什么意思呢？就是训练大模型的成本实在是太高了，特别是当它的底层框架确定了以后，你想去训练它，这个成本是非常非常高的，非常费钱。所以要什么呢？比如说Llama，从Llama2升级到Llama3，给大家指明了方向，大家向这个方向去前进。那么在这个时候大家再去训练，你说我连方向都没有，然后底层都不清楚，我们要从头开始做这个事情，那这个成本实在是太高了，至少中国企业很难去承担这个成本，即使是在Lama 2的基础上，说我用这个数学模型或者用这个数据结构，我重新去训练新的模型，这些公司其实也很难盈利。这个事是太难了。所以呢，如果大家的底层就这样的不动了，比如就蓝帽2这样不动了，就在这个基础上，这个吃老本，那么李彦宏说这话就对了，就是说你就越来越落后。我们不停地去寻找有这个底层开发能力的人，我们不停地去迭代、去更新。你的那些人就老是在蓝码2的基础上去做，但是现在，蓝码3出来了，大家又可以往前走一步了。对，但是这些人的底层都不是自己的。比如说华为说我今天做芯片了，那芯片底层是什么？底层是UP或者是台积电，你底层永远不在自己手里面，那么他的天花板是有限的。所以李彦宏说的这句话本身并没有大毛病，虽然Llama三帮所有的开源模型又往前升级了一步，但是你的底层依然不是不可控的。

第二个，李彦宏讲的是开源并不便宜。这个话，其实我作为一个这么长时间去推广开源的人来说，我是极其赞同的。你去使用商业服务，其实你省去了大量的成本，因为有人给你签服务协议，你只要交钥匙就完事了。你要是想去做开源，你还要雇开源的程序员，然后这个人今天开心了，明天不开心了，后天你发现面试的时候看走眼了，这个成本是非常高的。而且，开源系统底层还有很多的不确定性。其实闭源系统也有bug，但是它处理方式是什么？我给你签一个服务协议，有bug你给我改去，我不管了。对，但是开源系统有时候有bug，里面他懒，没人理你，对吧，这个事是有可能的。所以开源，使用整个的开源系统是非常贵的，这个是我认同的。然后呢，是闭源才有商业模式，这件事其实没有那么认同。为什么呢？就是开源大模型通常在商业模式的周期上，它是比较漫长的。从拉马尔出来，一帮人开始弄，然后最后能挣到这笔钱，可能也得要个一两年的时间，你才能把这个钱挣到手，所以他是非常漫长的。而且呢，到现在为止，梅塔自己其实也没想明白，怎么用Llama去挣钱。梅塔虽然是Llama一、Llama二、Llama三都出来了，但是你说梅塔，你在这里头收着钱了没？他也没收着，对吧。而且他都没想明白，说我到底怎么把钱收回来。只是谁挣到钱了，就是我拿Lamar去再训练新的模型，比如我训练了一个医药的模型，或者我训练了一个移民中介，什么留学中介，我先练了一个这样的模型，就这个是能挣点钱的。但是你说梅塔自己怎么挣钱，不知道，对吧。所以想去靠开元大模型就直接挣着钱的，谁也搞不清怎么玩啊，包括像通1,000问，对吧，他怎么挣钱呢？他最后是说，哎，你们都用通1,000问吧，我是做云计算的，反正你都得上网来，用来你买我的云主机，我我通过卖云主机的过程再把钱挣过来，对吧，他是这么来挣这钱的。

所以你做从以前问，这到底是挣了钱没挣着钱，或者说我的这个云算多卖了多少，这个是一笔糊涂账。而且阿里在挣钱的方式是什么？就是我把所有这一圈子里头做这个大模型的全投资一遍，然后你们通通都上我这阿里云上来去干活去，我把阿里云的这个业绩做上去，任何人甭管我是用Kimi啊，是用什么mini Max呀，都上阿里云上用去，你们就用上阿里云去充值，不就完事了吗？对吧，阿里是挣这个钱的。但梅塔到底怎么挣这个钱，他自己也没想明白，所以它这个生命周期非常的长。然后大模型跟开元Linux是不一样的，跟安卓也不一样，实际上，最主要的开发者就是梅塔一家，不是一个真正大家一起协同开发的产品。这是李安红讲的，我觉得这句话呢，说的也非常正确。现在大家用的各种开元大模型，基本上都是在拉嘛2啊，或者是现在马上要出来拉嘛3啊，在这个基本上改来改去。我估计现在凌医万物的小伙伴们应该都在加班呢，对吧，拉嘛3出来以后赶快拆，拆完了以后，那么怎么能够重新去训练一个新的模型。怎么能够让这个模型的效率提升呢？我现在等着使用他们的新模型。在整个过程中，真正愿意做底层、愿意在底层上做前瞻性工作的公司，其实是没有的，或者说很少很少。听说质谱清音使用了全新的技术，但具体如何还不清楚。很多其他模型其实都是从Lamar借鉴了很多。李彦宏还说，既然不赚钱，为什么要做大模型？我觉得至少在中国，这种做法是对的。你说Open AI，像山姆奥特曼，马斯克，他们为什么要做大模型？是不是就是为了赚钱？这个我们不得而知，毕竟我们和他们不在同一个高度上，不能乱讲。

那么，构建国内最强的大模型，是李彦宏现在想要去做的事情。他第一个发布，哪怕被批评得一无是处，也是第一个尝试的。他穿着一条特别花哨的皮带，就这样上去了。甚至有人评论，他穿着白衬衫，像白衣飘飘的样子。他希望成为国内最大的，甚至在国内外都是最强的大模型。在国外，这个说法我觉得可以接受，就像众英雄围攻光明顶，光明顶就是GPT4，包括像Cloud这样的产品，它们是最强的，无可超越。即使是正在赶超的Gemini，也是必圆产品。而Gemini开源出来的那部分叫Gema，它并不是Gemini那个模型。\n国外的情况是这样，但国内的情况真不好说。为什么呢？因为国内的模型中，百度和Kimi是必远的。百度的使用体验对我来说太差了，太难操作。相比之下，Kimi我用得比较多，确实比较好用。此外，通易千问、百川智能、质朴清音、灵异万物、昆仑万维、360和猎豹都是开源的模型。我尝试过通易千问和一万物这两个开源的，以及一个闭源的。目前我觉得通易千问，尤其是千问1.5的32B版本，非常好用，运行速度非常快，给人留下深刻印象。

现在我主要在用通易千问和Kimi。不过Kimi有一个缺点，就是它经常在运行时报错，说服务器太忙，服务不过来。当你直接向Kimi提问几次后，它会告诉你它太忙了，让你稍后再问。这种情况时有发生。

百度一直自称是国内AI领域的领头羊，根据2023年第四季度的财报，其智能云业务营收为84亿人民币。但要注意，这其中包括了云计算和其他业务，比如智能汽车（自动驾驶）的收入。真正由大模型为百度云带来的收入增长，可能只有6.6亿人民币，这对百度来说可能只是杯水车薪，烧不了多久。所以这对百度来说，无疑是一个相当亏损的业务。而且…\n文心艺言嘛，为百度广告系统带来了数亿元的增收。但这个呢，就是百左手倒右手啊，哪一部分是由文心艺言带来，哪一部分是广告系统，就直接正着了。这个不好说啊。每天呢据说有5,000万次调用，这个我觉得也挺夸张的啊，真的我不知道为什么会有这么多人使这东西，因为那玩意真挺难使。预计2024年，大模型的收入贡献会成10倍，就是去年大概是挣了不到10亿美啊，人民币啊，今年大概会挣到几十亿人民币，在这样的一个水平上。

那么李彦宏为什么说这个话呢？啊，第一个，整个行业其实都不挣钱，包括他自己。就是做了半天大模型也没挣着钱，开元啊肯定是没挣到钱，甭管是刚才咱们讲的，灵异万物也好，百川啊，昆仑，360猎豹在这块估计挣到的钱都不多。360跟猎豹没准还能挣到点，因为他们就是纯纯做图币去了。他们自己那个开元模型，到底拿多少钱训的，而且他也不会推这个东西啊，推开源模型本身的成本也很高。不光是说你本东西开源出来就会有人用啊，然后通1,000问，刚才我讲的，他是通过另外一种方式。

之前呢咱们不管他，整个行业没挣着钱，开源也没挣着钱，但是呢，开源同时会极大的影响闭园挣钱。什么意思呢？比如说我这有一个公司，现在需要一个大模型来给我干活，正常你应该怎么办呢？我上百度上去买去啊，或者上open AI，上微软去买去啊。现在人说哎，我这有开源的啊，那等有很多的系统集成相关的公司，就可以把开源的这些大模型直接集成到我的系统地区了啊，我还可以给你做私有化部署，就这些人能挣着钱。现在Llama已经说了，可以免费商用，你拿去使吧，我不管了，等于把所有的这种中小规模的系统集成商，一把就全赋能了啊，他们挣钱去了。但是这些人挣钱的时候，这个单位就不会再去花钱干嘛呢？买这个open AI，买微软买百度了。所以他就一定要出来讲说，开元是没戏的啊，你们就老老实实买我的这个闭元的就好了。而且呢，开元有的时候啊，你避免不了，为什么呢？拿开元做定制是现在唯一的挣钱路径，而且这个是百度最受不了的，因为这块真的是在吃他的肉。哎，中国大模型创业呢，其实有很多困境的。第一个，成本非常高。尤其是合规成本，非常高。如果你说错了话，是要被封号的。

第二个，中国做任何创业，都必须马上挣钱。你如果说，我想先去折腾一段时间，过个10年再挣钱，想都甭想。像Open AI这样的公司，在中国是不可能成功的。为什么？因为大家在建立时是非营利组织，压根就没想明白该怎么挣钱，然后就四处融资。融完一大笔钱以后，就坐着吭哧吭哧地做。确实很多年一点收入没有，而且还烧钱烧得贼快。这个在中国是行不通的，必须马上挣钱。而且市场有限，现在在中国基本上没有C端市场。所有愿意出钱、花钱再去做工程做项目的人，大多是政府和大企业。

政府和大企业的客户争夺，不完全依靠技术。还有很多其他相关的，或者不相关的，商业的或者非商业的因素影响。最后谁中标，谁没中标，就是这样。

所以，为什么一帮中国人一听说Lama开源了，然后自主研发、自主知识产权的国产大模型就出来了。出来以后，他们去那些大的甲方那里去中标。其实李彦宏在骂的就是这帮人，就是你们不要去抄袭人家的东西，然后自己号称是自主知识产权。

在中国到现在为止，拿到牌照的大模型有多少？117个。如果有这么多大模型都拿到牌照了，中国有这么多数据，有这么多GPU让他们去训练，能出这么多模型来吗？或者花了这么多钱去训练吗？没有。大家拿的，都是Lama改的，全是这样。就是你拿数去看就行了，你不用管他到底是不是这个数。一看就知道，有很多的数据，你只要拿下来比，你就知道说，如果所有这些大模型都是自主研发，自主知识产权，从拿数据开始，一分钱一分钱的去训练出来的，那么这事是不可能的。你像我去问过零一啊，什么这些人，就是他们是从头拿数据去训练，虽然他底层的数据结构是Lamar的，但是那也是花了很多钱的。就是你不融到几亿美金，根本就不敢干这活。但是你想，中国有多少个融到几亿美金的大模型公司？刚才我们讲的是有牌照的，还有很多没有牌照的。没有牌照就是不用动外，对外服务啊，我还是可以比如说做一个什么，颁个奖然后在对内服务，这事还是有的。可能中国现在有几百个，甚至上千个大模型在跑。所以啊，这件事情呢，对于这些做大模型的人来说，是比较难受的。在这一块上，没准最后阿里能把钱挣着，就甭管你用谁的大模型，你到阿里云上来租我的服务器吧。而且呢，李彦宏的意思就是就这么点钱，就这么点甲方，你让百度张了吧。大家都是自主研发，自主知识产权，这还是看谁的资本硬吧。百度在这种竞争中呢，有一定的优势，毕竟排在这，但是呢，你有的时候真备不住谁七大姑八大姨说，哎，我这事我能搞定啊，你就不用用百度了是吧。这是李彦宏出来瞎说大实话的一个原因吧。就是大家注意啊，我每次讲李彦宏出来瞎说大实话的时候，实际上都是百度遇到了一些问题的时候，挣钱挣的不够多了啊，或者说是有一定压力的市场发生变化了啊。第一次是百度希望做内容营销，发现他遇到了版权的问题，出来瞎说了一个大实话。第二次是什么呢？百度希望做移动，结果发现移动里头有一帮人去搞这个隐私保护，又搞了一次。现在呢，是啊，去做大模型了，然后发现一帮人在喊开元对吧，他又又要出来瞎说大实话了啊。干了这么三件事，咱们最后讲一下，Lamar3到底会带来什么东西吧。Lamar3呢，会带来哪些改变啊？第一个，整个开元大模型行业会迎来爆发式升级，就所有做开源大模型的人…\n都会在未来的可能两三个月里头，就会升级自己的大模型。大家可以看看谁升级的快，哎，升级快的，这个就属于技术力比较强的。因为你想，你给你一个新的大模型，整个各种系统架构都是变化了，都是新的，效率更高，质量更好。大家就一定会去研究、分解，然后再去拿这个相应的训练方法，相应的注意结构，再去训练自己的模型。所以到未来，可能我们再使用在本机上三十几币的这种模型，就完完全全可以接近到GPT4的一个水平，超越这事还不敢乱说。然后你在服务器端可以跑到的这种70币模型，基本上是可以超越GPT4的。大概就是可以到这样的一个程度。

而且呢，各种Lama3的微调模型会快速爆发。就是我先不去训练新的，我现在这个基本上进行一定的微调，这些可能在几周之内就会疯狂上线了。然后呢，行业应用可能会快速的提升，这个可用性就提升了。比如说我原来是给建筑业用的，给银行用的，给保险公司用的，那么他们可能会发现，我这个升级了，升级了以后，这个系统一下就变得不是那么人工智障了，就变得好用了。这件事情应该可能在未来的一两个月里就会发生。

这件事情之后，从头训练自研大模型的公司呢，这个日子会稍微的再难那么一点，包括百度自己。这就是Llama3可能会带来的改变。而且我相信Llama3出来以后，在未来的半年里头，会有大量的新的公司出来，我要创业，我要再去做大模型相关的创业去了，一定会有人干这个事的。对于我们来说呢，可能还可以继续期待一下GPT5。我们不期待GPT5到底能够带来哪些能提升什么，真正需要的是GPT5可以给整个的行业再指明一次方向，大家向这个方向冲，这个是可以证明的。那么在这个过程中呢…\n这方向明确了，人跟钱都不缺啊。有很多人说我们很聪明，我们要干这个事情，还有很多钱啊，等着冲上去说：“哎，方向指明了，赶快上！”就想这个Solar大模型，现在还没有人上来用上吧，但是已经有大量的视频模型，已经冲上来，可以给大家使了。所以啊，Open AI，你指明方向就可以了啊。咱们也可以看看，到什么时候真的会出现能源短缺吧。其实现在大家在叫做芯片短缺，等芯片灯真的都充满了以后啊，咱们看看，是不是咱们会把所有电用光啊。这就是咱们今天讲的第一个故事啊，就是Llama三来了，是不是给李彦宏打脸了啊？但是我到现在还是认为，李彦宏说的话啊，就是真的是瞎说大实话啊。大概是这样的一个情况。