代码无法编译、数据完全隐藏,这一波操作到底是不是“假开源”?拆解Grok架构的虚与实,虽然无法直接复刻竞品,但给国内大厂指明了进化新方向|X 马斯克 推荐算法 假开源 算法细节 分析

马斯克实现诺言,开源了X的推荐算法,这次总是真的了吧?

大家好,欢迎收听老范讲故事的YouTube频道。老范原来总批评马斯克假开源,这次应该是真的了吧?

1月10号,马斯克发帖说7天之内开源X的推荐算法;1月20日,也就是10天之后,确实开源了。马斯克事确实给你干了,但是时间大家就不要计较了,稍微晚几天并不那么重要。

老范以前为什么总说马斯克是假开源?

2023年,他开源了X的推荐算法,但是仅开源了部分的非核心代码。而且开源了以后就往这一扔,再也不理你了,也没有后续版本,也没有各种的讨论。你问他一些什么问题,他也不理你,所以我说这是个假开源。

2024年3月17号又宣布开源GROK1,3月19号确实开源了,开源了权重和加载的代码。但是这个模型非常的笨重,基本上没有任何的实用价值。当然了,还有马斯克一贯的作风:不回答任何问题,也没有后续更新。就是代码开源了,这个事也就算办完了,社区里头的各种issue、pull request基本不看,也不会有任何后续更新。最新的版本不开源,你像GROK1开源了,后边的版本基本上就不理你了。无法验证开源出来的东西和生产环境是不是有关联,这就是马斯克开源的一些特点。

这次其实也差不太多,X推荐算法也只是开源了一部分。最核心的东西叫Grok Transformer,这个东西并没有开源。整个的推荐算法建立在一个Transformer的模型上了,你没有把那个Transformer模型拿出来,你只围绕Transformer模型外围的一些东西给大家看了看,开源了这样的一些东西出来。而且你要做推荐,你一定要有一开始的信息筛选的机制。信息怎么筛选?过滤的这些参数以及最后排序的权重,这些东西通通都没有公开。所以这一次开源的东西,按照传统意义的开源来说,是个假开源。

阅读更多

法国AI登顶效率榜!Le Chat挑战ChatGPT,欧洲人工智能崛起还是昙花一现?受美国星际之门和中国DeepSeek刺激,法国发力AI,中国行,法国也行吗?

法国AI聊天工具Le Chat在法国登到了排行榜第一名。法国AI是不是有戏了?大家好,欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲这个叫Le Chat。我在讲这个故事之前,专门去向我学过法语的太太请教过了,说这个东西应该那么去念啊,最后这个t是不发音的。这个产品到底怎么样?咱们先说一说它的公司呢,其实原来我们介绍过啊,叫Mistral公司,应该算是整个欧洲拿到投资最多的一家AI公司了。

然后他们的创始人呢,原来是Deepmind的员工。他在法国受的教育,到Deepmind混了两年以后,回到法国去创业。他们大量的创始团队都是从Deepmind回来的。Deepmind被Google收购了以后,他大量的团队依然是在英国上班。所以,这帮人有可能是在美国混了一段时间,当然也有可能是在英国混了一段时间,现在在法国创业。然后他们拿到了像微软啊,英伟达等很多公司的这种投资。但是法国还有一个很有钱的人,特别喜欢投资AI啊,谁啊?就是那个LV的那个老板,也会去投资很多的AI公司。

那么这个公司呢,他们出的很多的模型,特别是开源模型,在AI圈子里头还是有很大响度的。比如说Mistral的7B啊,特别早就出来,很多人会去使用。他们出的很多这种MoE模型,也是很流行的。最早被大家所接受的MoE模型就是他们家的,比如说8X7B啊,或者是8X22B这些啊。MoE模型啊,很广泛的被使用。所以这一次呢,去问他们的创始人,说你看DeepSeek怎么样?他说哎呀,Deepseek用到的很多模型组织方式是原来我们开源出来的啊。当然最早的MoE不是他们发明的,但是Mistral在MoE整个的演化过程中还是做了非常多的贡献的。

阅读更多

Deepseek V3搅动AI格局!从细颗粒度专家到多头潜在注意力机制深度剖析

大家好,欢迎收听老范讲故事的YouTube频道。今天咱们来讲一讲Deepseek V3搅动风云的事情。Deepseek V3到底先进在什么地方?我在这一段时间呢,也看了一些人的介绍,甚至也看了一些人的视频,尝试用人话来讲清楚,还是很困难的。有一些人很扑克脸,上来就把论文念了一遍,底下一堆人在那评论说有听没有懂。咱们呢尽量避免看这个事情,想办法呢,用举例子和讲故事的方式,让大家能够稍微的了解一下Deepseek V3到底干了点什么。

但是呢,这个里头就会有一个问题,就是例子跟故事呢,有时候不一定准确。所以呢,我们尽量的传递,让大家可以对相关的概念有一个感性的认知。跟大家先讲一个故事吧,这样的话,你们就可以理解待会我要讲的故事大概在什么层面上了。

说爱因斯坦在晚年,有一次去参加美国的一个慈善晚会,来了位盲人。说:“您看,这是个盲人,您能给他解释一下什么是相对论吗?”从来也没见过任何的光,也就没见过任何东西。你告诉我怎么叫相对论。爱因斯坦想了想,说:“这个相对论呢,就是相对的,就是黑的跟白的,你能理解吗?”这个盲人说:“我生下来就是盲人,我没法理解什么是黑的跟白的。”爱因斯坦说:“那你想想有一只大鹅,大鹅你知道吗?这个鹅是白的。”盲人说:“我从小就是盲人,我没见过鹅。”爱因斯坦继续说:“鹅有一个长长的脖子,你能想象吗?”盲人说:“哎呀,我从小是盲人,我没见过鹅,也没见过什么叫长长的脖子。”爱因斯坦说:“这个鹅的长长的脖子是可以弯的。”盲人问:“怎么弯呢?”爱因斯坦说:“来,我给你比划一下。你把这个手伸出来,这个手伸出来,然后呢,这是直的,这是弯的,你懂了吧?”盲人说:“哎呀,我好像已经懂了,什么是脖子是直的是弯的,也能够想象一下什么是鹅了,甚至呢,我都觉得我理解了什么是相对论了。”

阅读更多