RSS怒喷大模型连狗都不如？揭秘硅谷集体幻觉与物理常识缺失，为何只有新架构才能通往通用人工智能｜Yann LeCun World Models AMI LLMs AI Startup
12 月 23
AIGC Abstract World Models, Advanced Machine Intelligence, AGI, AI Startup, AI创业, AI未来, AMI, Autonomous Driving, Deep Learning Limitations, Dog Intelligence, Future of AI, Intelligent Agents, JEPA, LLM Dead End, LLMs, Meta AI, Minimum Cost, Open Source AI, Physical AI, Physics & Planning, Robotics, Safety Alignment, Spatial Intelligence, System 2 Reasoning, World Models, Yann LeCun, 世界模型, 大模型死胡同, 大语言模型, 开源AI, 抽象世界模型, 智能体, 最小消耗, 机器人技术, 杨乐坤, 深度学习局限, 物理AI, 物理与规划, 狗的智能, 空间智能, 系统2推理, 联合嵌入预测架构, 自动驾驶, 通用人工智能 怒喷大模型连狗都不如？揭秘硅谷集体幻觉与物理常识缺失，为何只有新架构才能通往通用人工智能｜Yann LeCun World Models AMI LLMs AI Startup已关闭评论
杨乐坤“暴论”：大语言模型是扯淡，连狗都不如？解读他的世界模型与新创业项目AMI
“我认为这完全是扯淡，这条路根本就不可能成功。”这是杨乐坤在最新的访谈中对大语言模型路线的评价。这是语不惊人死不休的这种暴论吗？还是说他真的有一些什么事情想做？
大家好，欢迎收听老范讲故事的YouTube频道。
12月15日，杨乐坤发布了他最新的访谈。访谈是在一个叫做“信息瓶颈”的播客中进行的，位置应该是在纽约大学。杨乐坤当时还在Meta站好最后一班岗，三周以后会正式离职。访谈接近两个小时，我尽量讲一些里边有意思的部分。
现在的大语言模型还无法跟狗的智能相比，这个也是其中比较有趣的一点。到底杨乐坤想做的世界模型，以及他的JEPA是如何工作的？对于我这个讲述者和各位听众来说，都是一个挑战。请耐心听到最后，然后告诉我，我到底讲明白了没有？你们到底听懂了没有？杨乐坤要去做的AMI，也就是创业要做的这个新公司，到底是干什么的？怎么挣钱？咱们今天就讲这几块。
第一块：杨乐坤为什么觉得大语言模型完全是扯淡？
这里头要讲到的最核心的观点叫“序列化”。大语言模型工作的方式，是把整个世界的这些语言进行序列化。所谓序列化是什么？就是把所有的语言变成TOKEN，然后把这些TOKEN离散掉，谁跟谁之间都没有关系，再通过把全世界的语言搁在一起进行统计、进行训练，重新建立起这些TOKEN与TOKEN之间的关系。它是这样来工作的。
而且要注意一点，语言这个东西本身就是一个世界映射，语言只能表达世界中的很少一部分。哪怕是同样的语言，你用不同的语气语调来说，都会表达不同的意思。而不同的语气语调，你在语言中是完全无法看到的。所以语言只是真实世界的一个稀疏映射，大量的信息被错漏了。所以在TOKEN化的这个过程中，大语言模型其实把大量世界本身相关的信息都扔掉了，特别是那种连续的信息。
因为大语言模型通常能干的事是什么？就是预测下一个词应该说什么，哪个词是最好的。但是在这个过程中，它对于让世界演变这些连续事件，它是没有办法去进行预测的，因为它在序列化的过程中就把所有这些关联全扔了。
More