代码无法编译、数据完全隐藏,这一波操作到底是不是“假开源”?拆解Grok架构的虚与实,虽然无法直接复刻竞品,但给国内大厂指明了进化新方向|X 马斯克 推荐算法 假开源 算法细节 分析

马斯克实现诺言,开源了X的推荐算法,这次总是真的了吧?

大家好,欢迎收听老范讲故事的YouTube频道。老范原来总批评马斯克假开源,这次应该是真的了吧?

1月10号,马斯克发帖说7天之内开源X的推荐算法;1月20日,也就是10天之后,确实开源了。马斯克事确实给你干了,但是时间大家就不要计较了,稍微晚几天并不那么重要。

老范以前为什么总说马斯克是假开源?

2023年,他开源了X的推荐算法,但是仅开源了部分的非核心代码。而且开源了以后就往这一扔,再也不理你了,也没有后续版本,也没有各种的讨论。你问他一些什么问题,他也不理你,所以我说这是个假开源。

2024年3月17号又宣布开源GROK1,3月19号确实开源了,开源了权重和加载的代码。但是这个模型非常的笨重,基本上没有任何的实用价值。当然了,还有马斯克一贯的作风:不回答任何问题,也没有后续更新。就是代码开源了,这个事也就算办完了,社区里头的各种issue、pull request基本不看,也不会有任何后续更新。最新的版本不开源,你像GROK1开源了,后边的版本基本上就不理你了。无法验证开源出来的东西和生产环境是不是有关联,这就是马斯克开源的一些特点。

这次其实也差不太多,X推荐算法也只是开源了一部分。最核心的东西叫Grok Transformer,这个东西并没有开源。整个的推荐算法建立在一个Transformer的模型上了,你没有把那个Transformer模型拿出来,你只围绕Transformer模型外围的一些东西给大家看了看,开源了这样的一些东西出来。而且你要做推荐,你一定要有一开始的信息筛选的机制。信息怎么筛选?过滤的这些参数以及最后排序的权重,这些东西通通都没有公开。所以这一次开源的东西,按照传统意义的开源来说,是个假开源。

阅读更多

黄仁勋AI时代英伟达GPU革命:一场市值2.7万亿美金的狂欢,COMPUTEX 2024重磅发布Blackware GPU,1.8万亿参数GPT4揭秘!


大家好,欢迎收听老范讲故事YouTube频道。今天,咱们来讲一讲黄仁勋在COMPUTEX上的狂欢。COMPUTEX是一年一度在台湾举行的计算机大会。黄仁勋,作为现在真正AI时代的当红炸子机,可能是唯一靠AI赚了大钱的人。虽然微软也在赚钱,但是微软整个靠AI挣的钱并没有那么多。真正靠AI赚了大钱的公司只有他一家——英伟达。刚才我看了一下,英伟达现在市值2.7万亿美金。大家知道,再往前就是微软的3.2万亿,第二名是苹果,2.9万亿,还差那么一点点。可能稍微一哆嗦,英伟达就有可能成为世界第二市值的公司了。那么,黄仁勋上面都讲了什么呢?作为网红,肯定还要先暴露一下行业秘密,别人都不知道他知道的事情。上来先说一下他现在讲的是什么——就是GPT-4到底有多少参数。GPT-3.5大家知道是1,700多亿参数,就是一个170多亿级别的模型。但是到GPT-4的时候,OpenAI就再也没有出来说它到底有多少参数。很多人说你是不是超过万亿了,对OpenAI来说,这个数据不是很准确。我来辟谣了,但是具体有多少,从来没有讲过。黄仁勋在前面的GTC,就是GPU技术大会上,每年一次的英伟达自己的开发者大会上,上面也讲了……

说起来1.8T,这个1.8T指的是什么呢?其实就是1.8万亿参数,而且它是一个Moe模型。当时OpenAI并没有对此多说什么,但这一次,在《Computer Text》上,他们又反复强调了这个事情,明确指出GPT-4的训练参数达到了1.8T。这让人们意识到,想要达到GPT-4的水平,还有很长的路要走。尽管现在大家都在努力研发号称能达到或接近GPT-4水平的模型,比如几百亿参数的模型,比如梅塔的拉马3可能会有一个400亿参数的模型,国内也出现了很多一两百亿参数的模型。但事实是,即使提到的1.8T参数,如果考虑到是Moe模型,分成八份来看,那么单个模型可能也就相当于200多亿参数的水平。

阅读更多

抖音草根网红郭有才一夜爆红1300万粉丝,306元音乐梦!揭秘平台造神背后的秘密!

现在开始讲第二个故事:郭有才现象——草根网红时代的启示。

郭有才呢,就算是一个很草根的网红了。1999年生人,山东菏泽,应该是农村的一个小伙子。长得呢黑黑瘦瘦的,留个小胡子,留了一个大背头,刷满了油的,这种像90年代或者80年代香港这样的一个样子的一个头。在抖音上其实也唱了很多年的歌啊,不是说突然就火了。他大概从17年就开始在抖音上唱歌,最近啊在5月9号突然一夜爆红。我们现在就要分析一下,郭有才现象对于草根网红时代的意义,和探讨这背后的一些社会心理驱动吧。

郭有才呢,据说是因为家境贫寒,没有办法去学习音乐,但是自己又喜欢唱歌。但说实话唱的不怎么样。为了今天录这个节目,还专门去听了一下,唱的真不好听。他呢花了300块钱买了个吉他,又花了6块钱啊,报了一个音乐课,很简朴的开始了,甚至应该说叫很简陋。所以呢郭有才也经常自嘲,叫306块钱的音乐水平,就是这个306。

阅读更多

微软撤离中国AI团队,这是真的吗?微软出来辟谣,但是关键之处又非常模糊。中美两国的AI竞争,会越来越激烈吗?

大家好,这里是老范讲故事。今天来讲两个故事。第一个故事是:微软正在撤离中国AI团队。这个事情呢,应该是突然传出来的,应该是礼拜三传出来的。因为礼拜三我们在做《老范读评》的时候,就一帮人问:“哎,赶快说说,到底咋回事?”呃,第一个呢,这个事,我没有向任何微软员工去求证啊,这个一定要讲清楚。因为万一说对了,说错了,在给别人找麻烦,这事不合适。咱们呢,只能够根据现在公开的信息来进行一些分析和猜测啊,这个里头没有任何内幕消息,一定要跟大家讲清楚,不是说我认识谁谁谁了,我去问了谁谁谁了啊,千万千万要说明白。特别是刚才有这个人讲,说是微软员工来听自己的瓜了啊,这个还是给了我一点点小压力。

这个事情呢,突然传出来,据说是有几百人的团队要撤离,是微软中国区,云的关于大模型的一些团队,以他们团队,可能还有另外几个团队为主吧。啊,这些团队呢,正在撤离。据说呢,是这些人收到邮件了,邮件上写的是,他们可以离开去美国、澳大利亚,有的是写爱尔兰,也有写新西兰的。而且呢,全家人都可以一起去办移民。后边有一点未经证实,但是其实是整个事件里的关键是什么呢?就是不转岗到底会不会被裁员。如果有些人说,“我愿意留着,也没什么事,看你原来的事。”那这个呢,其实就是微软内部经常干的这种事情,因为我原来有些同事就是通过微软内部的这种转岗,从国内转到美国去了,拿到了美国绿卡,后来也拿到了美国国籍。这个故事是存在的。微软呢,过一段时间就会干,或者说他一直在干这样的事情,他也一直是有这样的机会给大家说,“哎,你们可以去申请,申请说你到底是在哪边。”其实谷歌应该也有,但是这个里头有几个问题啊,第一个问题是什么?就是他不会一下出一大批…

阅读更多