Llama 4悄然发布震撼不足?对比DeepSeek与千问,Meta的MOE架构和千万级上下文能否挽回开源领导地位,避免被超级APP浪潮抛弃?

Llama 4悄然发布震撼不足?对比DeepSeek与千问,Meta的MOE架构和千万级上下文能否挽回开源领导地位,避免被超级APP浪潮抛弃?已关闭评论

Llama4发布了。这里的黎明静悄悄,没有什么响动。这是怎么回事?

大家好,欢迎收听老范讲故事的YouTube频道。一觉醒来,Llama4就发布了。扎克伯格亲自在Facebook的REELS(也就是Facebook的短视频里面)发了一条视频,说Llama4发布了,今天是Llama4日。

Llama4呢,一共是有三个版本:
第一个叫Scout(侦察兵版本),总参数1,090亿(也就是109B),活跃参数是170亿,包含16个专家模块。对的,Llama终于也放弃抵抗了,从Llama4开始变成Moe了。在Llama4之前的版本都是单一体的模型,Llama3.3还给了一个400多B的单一模型,到Llama4彻底放弃抵抗了。

现在呢,支持1,000万TOKEN这种上下文,这个是Llama4最大的一个特点。DeepSeek是64K(也就是64,000个TOKEN上下文),现在上下文比较大的Gemini大概是能到2兆(200万),Llama4直接给了一个10兆(1,000万TOKEN),这是它做的一个很创新的点。

More

Ilya彻底离开OpenAI!超级对齐团队解散!Sam Altman,摆脱束缚,OpenAI从此一骑绝尘?还是ChatGPT未来堪忧?

Ilya彻底离开OpenAI!超级对齐团队解散!Sam Altman,摆脱束缚,OpenAI从此一骑绝尘?还是ChatGPT未来堪忧?已关闭评论

大家好,欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲伊利尔彻底离开超级队,其团队解散,而OpenAI彻底失去束缚,可以一骑绝尘的事情。

从去年11月,山姆奥特曼突然被董事会开除,又经过了三四天戏剧般的反转,反转再反转之后,山姆奥特曼终于干掉了董事会,王者归来。从那以后,作为董事会里边唯一留任的伊利尔就再也没有出现在公众视野之中。很多人都在猜说这个人到底干嘛去了。

当时这个事情发生的时候,所有人就在猜测,说伊利尔是不是要离职,伊利尔什么时候离职啊。但是呢山姆奥特曼一直都是体现出政治家的这种手腕,一直在称呼伊利尔来为啊我最亲密的朋友。但是伊利尔呢一直没有发声。最近一次发生是在跟埃隆马斯克的诉讼过程中,由伊利尔的账号在里边说了一句话啊,但是也就仅此而已了。

伊利尔在这一段时间里他就彻底不见了,现在呢终于知道说啊他离职了啊,正式离职。而且呢根据已经从OpenAI里边离职的一些其他跟安全相关团队的啊,这些人去讲说伊雷尔从去年11月份到现在半年的时间就再也没有回到过OpenAI的办公室,一直是在进行远程工作,远程协调。对吧这个人等于就消失了,现在半年了啊终于离开了。

More