怒喷大模型连狗都不如?揭秘硅谷集体幻觉与物理常识缺失,为何只有新架构才能通往通用人工智能|Yann LeCun World Models AMI LLMs AI Startup

怒喷大模型连狗都不如?揭秘硅谷集体幻觉与物理常识缺失,为何只有新架构才能通往通用人工智能|Yann LeCun World Models AMI LLMs AI Startup已关闭评论

杨乐坤“暴论”:大语言模型是扯淡,连狗都不如?解读他的世界模型与新创业项目AMI

“我认为这完全是扯淡,这条路根本就不可能成功。”这是杨乐坤在最新的访谈中对大语言模型路线的评价。这是语不惊人死不休的这种暴论吗?还是说他真的有一些什么事情想做?

大家好,欢迎收听老范讲故事的YouTube频道

12月15日,杨乐坤发布了他最新的访谈。访谈是在一个叫做“信息瓶颈”的播客中进行的,位置应该是在纽约大学。杨乐坤当时还在Meta站好最后一班岗,三周以后会正式离职。访谈接近两个小时,我尽量讲一些里边有意思的部分。

现在的大语言模型还无法跟狗的智能相比,这个也是其中比较有趣的一点。到底杨乐坤想做的世界模型,以及他的JEPA是如何工作的?对于我这个讲述者和各位听众来说,都是一个挑战。请耐心听到最后,然后告诉我,我到底讲明白了没有?你们到底听懂了没有?杨乐坤要去做的AMI,也就是创业要做的这个新公司,到底是干什么的?怎么挣钱?咱们今天就讲这几块。


第一块:杨乐坤为什么觉得大语言模型完全是扯淡?

这里头要讲到的最核心的观点叫“序列化”。大语言模型工作的方式,是把整个世界的这些语言进行序列化。所谓序列化是什么?就是把所有的语言变成TOKEN,然后把这些TOKEN离散掉,谁跟谁之间都没有关系,再通过把全世界的语言搁在一起进行统计、进行训练,重新建立起这些TOKEN与TOKEN之间的关系。它是这样来工作的。

而且要注意一点,语言这个东西本身就是一个世界映射,语言只能表达世界中的很少一部分。哪怕是同样的语言,你用不同的语气语调来说,都会表达不同的意思。而不同的语气语调,你在语言中是完全无法看到的。所以语言只是真实世界的一个稀疏映射,大量的信息被错漏了。所以在TOKEN化的这个过程中,大语言模型其实把大量世界本身相关的信息都扔掉了,特别是那种连续的信息。

因为大语言模型通常能干的事是什么?就是预测下一个词应该说什么,哪个词是最好的。但是在这个过程中,它对于让世界演变这些连续事件,它是没有办法去进行预测的,因为它在序列化的过程中就把所有这些关联全扔了。

More

震撼!“网络女皇”玛丽·米克尔最新AI预言全解析:2030年AGI将如何重塑工作与生活,以及中美AI竞赛下的基础设施与人才战略。

震撼!“网络女皇”玛丽·米克尔最新AI预言全解析:2030年AGI将如何重塑工作与生活,以及中美AI竞赛下的基础设施与人才战略。已关闭评论

互联网女王每年发布的、被全行业当圣经一样解读的趋势报告,时隔6年再次发布。大家好,欢迎收听老范讲故事的YouTube频道。

互联网女王的互联网每年一度的趋势报告再次发布了。这位互联网女王呢,她叫玛丽·米克尔。1995年开始,她每年发布一份互联网趋势报告,到2019年疫情前发了最后一份。前面应该是发了20多份吧。隔了五六年以后,2025年的5月30号,她再次发出了最新的报告。

这份报告叫《人工智能趋势报告》,340页的PPT。他这个趋势报告每年都是一份,基本上都有300多页。形式呢全都是PPT,每一页都是图表,没有那么多字,大量的是各种各样的趋势图。它是通过行业数据,就是一些已经发生的数据。它很少说我去预测这个数据,也有,但是它会标的很清楚,哪部分是预测的,哪部分是已经发生的。

More

OpenAI豪掷千亿美金打造星际之门,山姆·奥特曼的“民主AI”能否抗衡中国“霸权AI”并重塑全球AI格局引发深思。谁能赢得最后的胜利?

OpenAI豪掷千亿美金打造星际之门,山姆·奥特曼的“民主AI”能否抗衡中国“霸权AI”并重塑全球AI格局引发深思。谁能赢得最后的胜利?已关闭评论

OpenAI的星际之门和民主AI,到底要对抗谁呢?

大家好,欢迎收听老范讲故事的YouTube频道。山姆·奥特曼亲临德州星际之门工地,现场指导工作去了。他在德州阿比林市星际之门工地现场做了一些现场指示,这就是他们星际之门的第一期工程。项目花费呢,首期投入是1,000亿美金,未来四年共计消耗5,000亿美金。但后边的事大家就别太当真了,因为后面还有很多钱可能需要各国政府去掏,待会我们再去讲。

第一期建设呢,主要是软银掏钱。Oracle负责设计、施工和建造,所以现场拍到的照片,大家穿的小背心、安全帽上面都是写的Oracle的字样。计划部署6.4万台英伟达GB 200 GPU,首期的1.6万台英伟达GB 200 GPU应该是在今年夏天就可以完成安装,就可以投入使用了。

More

Meta的开源LLama3再度颠覆AI技术,鼓吹闭源的李彦宏是否真的打脸了?全新70B模型震撼发布,全方位超越GPT3.5,会给整个行业带来哪些改变?

Meta的开源LLama3再度颠覆AI技术,鼓吹闭源的李彦宏是否真的打脸了?全新70B模型震撼发布,全方位超越GPT3.5,会给整个行业带来哪些改变?已关闭评论

大家好,欢迎收听老范讲故事YouTube频道。今天咱们来讲第一个故事。

Llama3发布了,李彦宏是不是被打脸了呢?Llama3突然发布,又是一个遥遥领先。它呢,发布了8B和70B的两个版本。8B就是80亿参数,70B呢就是700亿参数。8B的,我其实已经试过了,就在本地已经装上了。这个某些方面,接近了原来,或者超过了原来的Llama2的70B。包括一些咱们在本地跑的这种30多B的,这种就是300多亿参数的模型,它已经都超过了。而且速度还飞快。

啊,70B呢,据说已经超越了cloud 3的中量级模型。Note 3是有三个模型的:一个是特别微小的,就是可以在手机上跑;一个是中等量级的,是可以在PC本地跑的;然后还有一个是那种特别大的,特别大的,是可以对标GPT4的。70B的基本上已经超过这个中等量级了,也超越了GMINI 1.5 Pro。现在大家想去试GMINI 1.5 Pro的,可以到AI studio.google.com上去试,那个是可以免费用的。也超越了现在70B发布出来的版本。普遍他们自己讲的是超越了GPT3.5,但是呢,还达不到GPT4。这在所有测试数据上都是这样。我相信梅塔应该不会像咱们似的,专门做一些调优以后去跑分,不像咱们这么无聊。

More