DeepSeek R2难产真相!金融时报爆料:华为昇腾芯片训练失败,揭秘国产AI算力的“卡脖子”困境。

DeepSeek R2难产真相!金融时报爆料:华为昇腾芯片训练失败,揭秘国产AI算力的“卡脖子”困境。已关闭评论

8月14号,英国金融时报发了一篇报道,说Deepseek R2模型之所以难产,是因为在使用华为升腾芯片训练的时候,持续遇到了技术问题,最后被迫改用了英伟达芯片。甚至透露华为曾经派出一支救火队,常驻在Deepseek,手把手帮忙调教升腾服务器,但仍然无法完成训练。无奈之下,Deepseek只能退回老路训练,重新切换回性能更加可靠的Nvidia的GPU,升腾芯片仅退居辅助,用于模型推理环节。

虽然没有华为和Deepseek官方的回应,也没有他们的辟谣,但是呢,据说是援引了三位知情人士的一些说法,也进行了很多交叉验证,所以这个事情呢,大概率是真的。

国运跟国运相碰撞的时候,升腾也号称是国运级产品,Deepseek肯定是国运级产品,为什么是升腾不灵呢?升腾芯片是可以替代的,也还有一堆竞争对手,所以出现问题以后,他的竞争对手会帮他去宣传。而Deepseek虽然在国内也有模型在追赶,但是地位是不一样的。升腾和国内的其他算力芯片,以及其他那些大模型,从来没有像Deepseek那样震动过世界。所以呢发生碰撞的时候,必须是升腾不行了,不可能是Deepseek不行了。

More

黄仁勋AI时代英伟达GPU革命:一场市值2.7万亿美金的狂欢,COMPUTEX 2024重磅发布Blackware GPU,1.8万亿参数GPT4揭秘!

黄仁勋AI时代英伟达GPU革命:一场市值2.7万亿美金的狂欢,COMPUTEX 2024重磅发布Blackware GPU,1.8万亿参数GPT4揭秘!已关闭评论


大家好,欢迎收听老范讲故事YouTube频道。今天,咱们来讲一讲黄仁勋在COMPUTEX上的狂欢。COMPUTEX是一年一度在台湾举行的计算机大会。黄仁勋,作为现在真正AI时代的当红炸子机,可能是唯一靠AI赚了大钱的人。虽然微软也在赚钱,但是微软整个靠AI挣的钱并没有那么多。真正靠AI赚了大钱的公司只有他一家——英伟达。刚才我看了一下,英伟达现在市值2.7万亿美金。大家知道,再往前就是微软的3.2万亿,第二名是苹果,2.9万亿,还差那么一点点。可能稍微一哆嗦,英伟达就有可能成为世界第二市值的公司了。那么,黄仁勋上面都讲了什么呢?作为网红,肯定还要先暴露一下行业秘密,别人都不知道他知道的事情。上来先说一下他现在讲的是什么——就是GPT-4到底有多少参数。GPT-3.5大家知道是1,700多亿参数,就是一个170多亿级别的模型。但是到GPT-4的时候,OpenAI就再也没有出来说它到底有多少参数。很多人说你是不是超过万亿了,对OpenAI来说,这个数据不是很准确。我来辟谣了,但是具体有多少,从来没有讲过。黄仁勋在前面的GTC,就是GPU技术大会上,每年一次的英伟达自己的开发者大会上,上面也讲了……

说起来1.8T,这个1.8T指的是什么呢?其实就是1.8万亿参数,而且它是一个Moe模型。当时OpenAI并没有对此多说什么,但这一次,在《Computer Text》上,他们又反复强调了这个事情,明确指出GPT-4的训练参数达到了1.8T。这让人们意识到,想要达到GPT-4的水平,还有很长的路要走。尽管现在大家都在努力研发号称能达到或接近GPT-4水平的模型,比如几百亿参数的模型,比如梅塔的拉马3可能会有一个400亿参数的模型,国内也出现了很多一两百亿参数的模型。但事实是,即使提到的1.8T参数,如果考虑到是Moe模型,分成八份来看,那么单个模型可能也就相当于200多亿参数的水平。

More