<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>端到端模型 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<atom:link href="https://lukefan.com/tag/%e7%ab%af%e5%88%b0%e7%ab%af%e6%a8%a1%e5%9e%8b/feed/" rel="self" type="application/rss+xml" />
	<link>https://lukefan.com</link>
	<description>这里是老范讲故事的主站，持续更新 AIGC、大模型、互联网平台、商业冲突与资本市场观察，帮你看清热点背后的底层逻辑。</description>
	<lastBuildDate>Thu, 10 Apr 2025 13:46:10 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.0.1</generator>

<image>
	<url>https://lukefan.com/wp-content/uploads/2026/03/cropped-jimeng-2026-02-28-5245-用图一的人物形象，替换图二中的人物，使用图二的风格。文字替换：老范讲故事，Yo-32x32.jpeg</url>
	<title>端到端模型 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<link>https://lukefan.com</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Llama 4悄然发布震撼不足？对比DeepSeek与千问，Meta的MOE架构和千万级上下文能否挽回开源领导地位，避免被超级APP浪潮抛弃？</title>
		<link>https://lukefan.com/2025/04/07/llama-4%e6%82%84%e7%84%b6%e5%8f%91%e5%b8%83%e9%9c%87%e6%92%bc%e4%b8%8d%e8%b6%b3%ef%bc%9f%e5%af%b9%e6%af%94deepseek%e4%b8%8e%e5%8d%83%e9%97%ae%ef%bc%8cmeta%e7%9a%84moe%e6%9e%b6%e6%9e%84%e5%92%8c/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Mon, 07 Apr 2025 00:45:28 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[1000万Token上下文]]></category>
		<category><![CDATA[400B]]></category>
		<category><![CDATA[AI Agent]]></category>
		<category><![CDATA[AI应用场景]]></category>
		<category><![CDATA[AI新闻]]></category>
		<category><![CDATA[AI未来发展]]></category>
		<category><![CDATA[AI模型发布]]></category>
		<category><![CDATA[AI竞赛]]></category>
		<category><![CDATA[AI算力]]></category>
		<category><![CDATA[Claude 3.7]]></category>
		<category><![CDATA[DeepSeek]]></category>
		<category><![CDATA[FP8精度]]></category>
		<category><![CDATA[Function Call]]></category>
		<category><![CDATA[Gemini 2.5 Pro]]></category>
		<category><![CDATA[GPT-4o]]></category>
		<category><![CDATA[Grok (XAI)]]></category>
		<category><![CDATA[H100 GPU]]></category>
		<category><![CDATA[INT4量化]]></category>
		<category><![CDATA[Llama 3]]></category>
		<category><![CDATA[Llama 4]]></category>
		<category><![CDATA[Llama 4 Behemoth]]></category>
		<category><![CDATA[Llama 4 MARVELIC]]></category>
		<category><![CDATA[Llama 4 Scout]]></category>
		<category><![CDATA[Llama 4发布反响平淡原因]]></category>
		<category><![CDATA[LLM]]></category>
		<category><![CDATA[Meta AI]]></category>
		<category><![CDATA[Meta战略]]></category>
		<category><![CDATA[Mixture of Experts]]></category>
		<category><![CDATA[MOE架构]]></category>
		<category><![CDATA[专家模块]]></category>
		<category><![CDATA[中文能力提升]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[全模态AI进展]]></category>
		<category><![CDATA[千问 (Qwen)]]></category>
		<category><![CDATA[卡估值]]></category>
		<category><![CDATA[多模态输入]]></category>
		<category><![CDATA[大语言模型]]></category>
		<category><![CDATA[字节AI]]></category>
		<category><![CDATA[小模型竞争]]></category>
		<category><![CDATA[开源LLM对比]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[开源模型内卷]]></category>
		<category><![CDATA[开源社区]]></category>
		<category><![CDATA[推理速度]]></category>
		<category><![CDATA[文本输出]]></category>
		<category><![CDATA[模型微调]]></category>
		<category><![CDATA[模型性能比较]]></category>
		<category><![CDATA[模型测评]]></category>
		<category><![CDATA[模型训练]]></category>
		<category><![CDATA[活跃参数]]></category>
		<category><![CDATA[流量入口]]></category>
		<category><![CDATA[知识蒸馏]]></category>
		<category><![CDATA[硬件要求]]></category>
		<category><![CDATA[端到端模型]]></category>
		<category><![CDATA[腾讯AI]]></category>
		<category><![CDATA[谷歌AI]]></category>
		<category><![CDATA[超级APP趋势]]></category>
		<category><![CDATA[长上下文]]></category>
		<category><![CDATA[阿里AI]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=2075</guid>

					<description><![CDATA[🔥家人们！今天凌晨Meta直接扔核弹了！！
LLAMA4带着1千万token上下文杀疯了啊啊啊！！！
（ps：1千万token≈20小时超长视频解析能力‼️）

这次直接祭出3大杀器：
1️⃣【侦察兵版】109B参数+16专家模块
2️⃣【独行侠版】400B参数吊打GPT4O
3️⃣【巨兽版】2000B参数+32K显卡训练（国内集体倒吸凉气）

最绝的是那个1千万token！！
别人家还在卷64k/200万
Meta直接拉满到10M级！这是什么概念？
相当于一口气读完30本《三体》全集！！
（DeepSeek连夜改PPT了吧🤣）

但这次为啥没刷屏？
真相太扎心👇
👉国产千问/DeepSeek早就把赛道占满
👉109B起步的巨无霸根本跑不动！
👉超级APP大战已经白热化...

最恐怖的是！！
Meta明牌说要搞端到端全模态！！
（语音/视频/图片直接互转要来了‼️）
现在压力给到某讯某里某节...

评论区快告诉我！！
你们站LLAMA4还是国产大模型？

Llama 4悄然发布震撼不足？对比DeepSeek与千问，Meta的MOE架构和千万级上下文能否挽回开源领导地位，避免被超级APP浪潮抛弃？

eta **Llama 4发布**，扎克伯格亲自官宣，但市场反响平平。这款采用**MOE架构**（**混合专家模型**）的**AI大模型**分为Scout (109B)、Marvelic (400B)和未来发布的Behemoth (2000B)版本，最大亮点是支持业界领先的**1000万TOKEN**超**长上下文**处理，支持**多模态**输入（文本、图像、音视频）和文本输出。性能上，**Llama 4**较Llama 3有显著提升（尤其**中文**能力），基本追平**GPT-4O**、**Claude 3.7**，但可能稍逊于**Gemini 2.5 Pro**。然而，其发布未如预期般震撼，原因在于**开源大模型**领域竞争激烈，已有**DeepSeek**、**千问**等强劲对手，且Llama 4放弃小模型（最低需**H100 GPU**运行），未能带来颠覆性突破，引发“审美疲劳”。当前**AI趋势**聚焦**超级APP**竞赛、端到端**多模态**能力及**AI Agent**/**Function Call**整合（**Meta**在此落后）。**Meta AI**虽手握资源，但在**AI竞争**中面临挑战，其**开源大模型**领导地位受**Grok**等模型冲击，亟需在“卡估值”逻辑减弱前，拿出成功的应用场景与**超级APP**，否则将面临严峻考验。]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="Llama 4悄然发布震撼不足？对比DeepSeek与千问，Meta的MOE架构和千万级上下文能否挽回开源领导地位，避免被超级APP浪潮抛弃？" width="900" height="506" src="https://www.youtube.com/embed/vWmFaUzNqlg?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p class="wp-block-paragraph">Llama4发布了。这里的黎明静悄悄，没有什么响动。这是怎么回事？</p>



<p class="wp-block-paragraph">大家好，欢迎收听老范讲故事的YouTube频道。一觉醒来，Llama4就发布了。扎克伯格亲自在Facebook的REELS（也就是Facebook的短视频里面）发了一条视频，说Llama4发布了，今天是Llama4日。</p>



<p class="wp-block-paragraph">Llama4呢，一共是有三个版本：<br>第一个叫Scout（侦察兵版本），总参数1,090亿（也就是109B），活跃参数是170亿，包含16个专家模块。对的，Llama终于也放弃抵抗了，从Llama4开始变成Moe了。在Llama4之前的版本都是单一体的模型，Llama3.3还给了一个400多B的单一模型，到Llama4彻底放弃抵抗了。</p>



<p class="wp-block-paragraph">现在呢，支持1,000万TOKEN这种上下文，这个是Llama4最大的一个特点。DeepSeek是64K（也就是64,000个TOKEN上下文），现在上下文比较大的Gemini大概是能到2兆（200万），Llama4直接给了一个10兆（1,000万TOKEN），这是它做的一个很创新的点。</p>



<span id="more-2075"></span>



<p class="wp-block-paragraph">1,000万TOKEN的上下文可以干嘛？可以处理20小时以上的视频或者超长文档，是行业领先的长上下文技术。采用了混合专家模型（也就是MOE架构），在INT4量化后，可以在单个的H100 GPU上运行，每秒处理42,400个TOKEN，还是速度比较快的。但是要注意，即使经过量化到Intel4上，它也必须要有H100，否则跑不起来这东西。所以咱们普通的电脑就别惦记了，最小的模型就是它了，没有更小的了。</p>



<p class="wp-block-paragraph">所以这一次Llama4的发布，并不像以前的Llama1、Llama2、Llama3似的，把各个尺寸的模型都做出来（从7b、14b、72b、32b什么这些都做一遍），没有，上来最小的一个就是109B。它可以支持文本、图像、音频、视频的输入，目前呢只支持文本的输出，未来应该会出现全模态输出的版本。这是它最小的一个侦察兵。</p>



<p class="wp-block-paragraph">中间的模型呢叫MARVELIC（独行侠），总参数量400B，活跃参数量17B，包含128个专家模块。它的专家模块变多了，超越GPT4O、DeepSeek V3，仅次于闭源模型Gemini2.5 Pro。Gemini2.5 Pro现在还是最强的，没有之一。在编程和数学任务中，仅用DeepSeek V3一半的参数即可达到相当的性能，但是你上再多参数也就这水平了。</p>



<p class="wp-block-paragraph">所以，它在数学跟编程角度上来说，跟DeepSeek V3应该是半斤八两，只是它的运算效率要更高一些。最大的一个叫Behemoth（巨兽），总参数量2000B，活跃参数量288B，包含16个专家模块，使用30万亿多模态TOKEN（就是文本、图像、视频），在32K（也就是32,000个GPU）上训练，FP8精度，提升效率。所以，你有足够的显卡才可以玩这件事情——32,000块显卡。Deepseek到现在为止，都没有承认它有这么多块显卡。所以，这种巨兽，国内追赶起来是比较费劲的。</p>



<p class="wp-block-paragraph">只是呢，这一个产品目前并没有发布出来，前面两个发布了，这个应该是在2025年的下半年发布。这个巨兽在数学、科学等基准测试中，超越了GPT 4.5、Claude sonnet 3.7和Gemini2.0 Pro。但是是不是超越了2.5 Pro，我现在没有看到相应的介绍。它呢，主要的作用是作为教师模型，用于知识蒸馏——就是我做一最大的，然后下边这些小的模型、中型的模型，都是拿这个最大的进行蒸馏，蒸馏出来的。现在呢，它也转向了MOE，性能有所提升，但是呢并没有那么明显。最大的特点就是1,000万输入，这个是Llama4做的最不一样的一个点。</p>



<p class="wp-block-paragraph">目前呢，支持全模态输入、文字输出；未来呢，会支持全模态输出，就是端到端的全模态输出。你甚至可以跟它去直接聊天，还可以打断它，就像现在的GPT4O高级语音功能一样。但是这个什么时候出来还不确定。如果能够有全模态输出的话，还是值得期待一下的。未来的方向一定是全模态、端到端的输入输出，现在新的模型都在向这个方向走。</p>



<p class="wp-block-paragraph">那么，为什么没有什么声音讨论它呢？Llama1出来的时候，整个的行业都震动了——这样程度的一个模型一下就开源了，大家都可以拿来去研究了。Llama2出来一看，又可以往前走一步。其实Llama1跟GPT3.5还是有差距的，到Llama2出来以后说“哎，可以用了”，进行一些微调以后，就真的可以去解决一些ToB的，或者说使用范围相对比较集中的应用，就可以直接用起来了。我记得是在两年前，就很多国内的项目就在微调Llama。等到Llama3出来的时候说，这个虽然达不到GPT4的水平，但是已经很接近了，大家拿这个东西去稍微调一调，就可以跑了。</p>



<p class="wp-block-paragraph">在Llama3出来以后的话，千问就开始疯狂的去输出各种各样尺寸的模型，就是千问2.0、千问2.5，这一批就直接追赶上来了。但是到Llama4出来，大家没说什么。</p>



<p class="wp-block-paragraph">这到底是什么样的一个情况？我呢，第一时间还上去试了一下。现在你到Open Router这个网站上，你是可以进行测试的，而且是免费的。侦察兵版和独行侠版都可以使用，也有收费的版本。收费版本就是比免费的版本稍微快一点点，主观感受上没有特别大的差异。</p>



<p class="wp-block-paragraph">那你说真的没有什么提升吗？这个肯定不对。它呢，跟现在的GPT-4O、Gemini 2.5、Claude 3.7这种主流模型比起来，确实没有什么提升。哈哈，这个基本上跟他们算站在同一个起跑线上，可能跟Gemini 2.5还稍微的差一点。Gemini 2.5不太友好的地方就是它比较慢，现在的Llama 4是很快的。但是呢，这个Llama 4比Llama 3、3.1、3.2、3.3这些版本还是有巨大提升的，特别是在中文这一块，效果好了非常非常多。大家可以去试一试，就完全可以达到能用的状态了。这个原来在Llama 3的水平上还是达不到的。</p>



<p class="wp-block-paragraph">那么为什么不觉得震撼了呢？原来Llama虽然和闭源模型比起来稍有差距，但是呢，毕竟你是开源的吧，开源圈里的扛把子。现在的开源模型也卷起来了，DeepSeek绝对达到了可用程度，千问现在也绝对在数量上碾压。怎么叫数量上碾压？就是千问的模型是数量非常大呀，零点几B，然后到4B、7B、14B、32B、34B，多模态的推理的全都有。这块非常非常完善，而且有非常多的人在以千问模型为基础进行微调。因为你要到手机上，或者到一些嵌入式设备上去进行操控的话，你拿千问这种小模型微调是很方便的。给你一个105B的模型，你拿去微调的话，这个就有点费劲了。所以现在你到Hugging Face上去看，最受欢迎的开源模型基本上都是千问或者是千问系的。</p>



<p class="wp-block-paragraph">所以从数量上，千问绝对赶超Llama。从能用程度上说，DeepSeek比它早发布了几个月，已经达到完全可用的一个状态了。现在Llama 4再拿出来，并没有划时代的提升。同样作为开源版本的大模型，他就没有那么震撼，已经有审美疲劳了。当然了，Llama 4出来，应该大家还是会去抄的。这Llama 1、Llama 2、Llama 3出来以后，实际上对至少国内的大模型产业都是有极强的促进作用的。Llama 4出来呢，应该也是有这种意义。千问和DeepSeek应该会尝试使用这种超长上下文的技术，因为它是1,000万TOKEN嘛。所以这一块至少千问应该会去追赶一下，DeepSeek的话……</p>



<p class="wp-block-paragraph">现在到底在忙什么？不确定。当然，DeepSeek呢，应该也会在多模态上奋起直追。只是奋起直追多莫泰这个事呢，对于卡的数量是一个考验。DeepSeek前面一直说我没有那么多卡，看看后边这个话怎么把它说圆回来吧。</p>



<p class="wp-block-paragraph">那么现在大模型到底在卷什么？大模型最终有可能还是会走向超级APP的道路。好像现在各大厂商依然在尝试卷超级APP，而且超级APP才是流量入口的一个锚点。你没有流量入口的话，你的模型做的再好，其实没有什么意义。这件事情上，以谷歌和Meta作为反面典型，大家看一看。谷歌的大模型其实一直做的还可以的，只是呢它的入口做的比较烂，大家就一直用的比较少。谷歌每一次出新的大模型，先给程序员用，他自己telegram内部用户，甭管是付费的还是免费的，都要很晚才能接触到他们最新的模型。而Meta，Llama做到现在了，做的这么热闹，Meta的用户，甭管是Facebook用户、Instagram用户，其实并没有感觉有特别大的体验上的提升。这个是两个典型案例。</p>



<p class="wp-block-paragraph">这里还有一个正面案例，谁啊？就是马斯克的Xa i 1，一做出来以后，第一件事在x平台上，直接给了一个最核心的入口，直接给了一个Grok的入口，你一点就可以进去聊天去了。现在ChatGPT呢已经是超级APP了，Claude呢应该也接近成为超级APP了。谷歌呢算突然惊醒，ChatGPT 2.5 Pro上来以后，直接把Gemini客户端的经理给干掉了，把Notebook LM的负责人拎回来，你去给大家继续去做Gemini客户端去。这个Notebook LM是用户所喜欢的，Gemini被人骂了这么久了，我们要换一换了。而且Gemini 2.5 Pro一上来，就直接给Gemini的免费用户就开放了。所以谷歌已经醒过味了，说我们要换一个姿势了。</p>



<p class="wp-block-paragraph">现在呢卷王们已经下场了。阿里还在内斗，千问跟夸克还要在内部做一次赛马。腾讯的元宝已经开始疯狂砸钱了。现在的进展到什么样的一个状态了？就这些超级APP都是带有搜索、知识库和靠谱推理的一个结果生成。目前我们现在看到的所有的超级APP，或者叫AI方面的超级APP，基本上都是在这个起跑线上。语音端到端呢，OpenAI做了，Claude我不确定做没做，好像没有。Grok英文的部分已经有了，中文的部分没有。豆包已经做出来了，千问和夸克现在正在奋起直追，腾讯的元宝也还在努力的往前走。</p>



<p class="wp-block-paragraph">DeepSeek在这一块做的稍微有点拉胯。它的语音部分和图屏的部分，就是多模态的部分，稍微差那么一点点。再往后就是图片、视频、音频的理解和生成。现在这些呃超级APP，OpenAI是完全可以实现图片理解、图片生成，甚至是视频生成，这些功能都是完整的。谷歌其实它的功能都做出来了，但是Gemini里头好多没接，这块还要再奋起直追一下。</p>



<p class="wp-block-paragraph">阿里的千问还有像夸克，包括字节的豆包，在这一块已经都做了图片理解、图片生成，包括修图改图，包括一些视频生成，现在他们都已经做出来了。其他的还在奋起直追。全新的形态是无法跟传统的形态进行有机结合的，或者结合起来比较费劲。现在唯一结合成功，或者大家感觉还比较顺眼的，就是x集合XAI，而且两个公司还合并了。</p>



<p class="wp-block-paragraph">其他公司都是尝试在传统的产品形态之外，寻找新的应用形态，或者新的用户使用形态。所以都是做的独立的APP，甭管是腾讯、阿里还是谷歌，或者是字节，都是做出独立APP来，希望能够去抢占新的入口。现在呢是新场景已经有了，底层技术基本上拉平，就这么一个状态。甭管是豆包的推理模型，还是腾讯推理模型，包括DeepSeek，还有像谷歌的Gemini 2.5 Pro、GPT-4O、Claude 3.7这些模型，它们其实基本上算是拉平了。谁比谁好一些，但是并没有好出那么多去。</p>



<p class="wp-block-paragraph">现在可能唯一能够明显感觉到有差距的，是Gemini 2.5 Pro。那么当新场景出现了，底层技术又基本拉平以后，剩下的就是一个字了——卷吧。这件事咱们中国人擅长，后面还要看大家怎么冲上去。</p>



<p class="wp-block-paragraph">现在留给Meta的时间已经不多了，开源大模型的老大位置应该已经不是他的了。Grok的卡应该比Llama可能稍微少一些，但是XAI的卡要比Llama的新。Grok也是开源的，只是Grok没有把最新的开源出来。它现在是上一代的Grok 2要去开源，现在Grok 3出来以后，它准备把2开源出来。这个3的话可能要等到Grok 4出来以后再去开源。但是呢，你也是开源模型，而且Grok 3特别是配上AI agent以后，相当的好用。</p>



<p class="wp-block-paragraph">DeepSeek在多模态和长文本上呢，还有所欠缺，但是达到可用状态，这个要比Llama4要早好几个月。所以在这一块上，Meta的开源大模型老大的位置也被动摇了。再加上可能在最近的一两周里头，千问3也要出来。现在大家使用都是千问2.5，千问3一旦下来以后的话，有可能整个开源大模型的座次……</p>



<p class="wp-block-paragraph">还要再重排一次。开发独立APP对于美塔来说，应该是刻不容缓了。Meta也有计划，在4月份准备上线超级APP。</p>



<p class="wp-block-paragraph">这个中间呢，还少了一步。Meta少哪一步？AI agent它没做。就甭管是deep search、deeper search或者这些东西，他都没做。而且呢，他还缺一个什么东西？就是他的function call和MCP都没有。他的模型你只能是给出提示词，然后那边生成结果。你说我在这边给一大堆的function call的描述，或者是给MCP的描述，我在生成的过程中可以调用外部数据，这个到Llama4依然没有。所以这一块，Meta稍微有些落后了。</p>



<p class="wp-block-paragraph">而且现在从Meta发布的Llama4来看，它已经完全退出了小模型的竞争。最小的侦察兵109B，你没有H100跑不起来。在这一块上，阿里已经算是稳赢了。所以阿里作为AI公司，基本上已经站住脚跟了。现在其他还在做小模型的公司，一个是微软，一个是谷歌。谷歌的Gemma3现在是有各种小模型的。还有就是欧洲的Mistral，他们也有一些小模型，只是呢Mistral的声音没有那么大。</p>



<p class="wp-block-paragraph">Meta呢，算是手里有卡，有数据、有用户、有钱，还有一大堆的现成的用户使用场景。必须要做的事情，是探索新的用户使用场景。如果老惦记去玩眼镜的话，那可能真的会被抛下的。AI的牛皮不能总靠卡的数量来维持下去，卡估值的逻辑正在坍塌。所以Meta必须要在卡估值逻辑坍塌之前，拿出来一个被大家可以接受的超级APP，或者说一个全新应用场景的服务，可以去跟其他的这些大模型超级APP去进行竞争。否则的话，它的故事会讲不下去的。</p>



<p class="wp-block-paragraph">好，这就是今天Llama 4发出了以后的第一期视频。未来的话，Llama 4可能更进一步的功能被暴露出来，或者说大家又试出什么好玩的来，那再去录视频跟大家分享。好，这一期就讲到这里，感谢大家收听，请帮忙点赞点小铃铛，参加Discord讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Ilya彻底离开OpenAI！超级对齐团队解散！Sam Altman，摆脱束缚，OpenAI从此一骑绝尘？还是ChatGPT未来堪忧？</title>
		<link>https://lukefan.com/2024/05/21/ilya%e5%bd%bb%e5%ba%95%e7%a6%bb%e5%bc%80openai%ef%bc%81%e8%b6%85%e7%ba%a7%e5%af%b9%e9%bd%90%e5%9b%a2%e9%98%9f%e8%a7%a3%e6%95%a3%ef%bc%81sam-altman%ef%bc%8c%e6%91%86%e8%84%b1%e6%9d%9f%e7%bc%9a%ef%bc%8c/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Tue, 21 May 2024 00:36:36 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[AI监管]]></category>
		<category><![CDATA[Anthropic]]></category>
		<category><![CDATA[ChatGPT]]></category>
		<category><![CDATA[Cloud]]></category>
		<category><![CDATA[Gemini]]></category>
		<category><![CDATA[GPT-2]]></category>
		<category><![CDATA[GPT-4]]></category>
		<category><![CDATA[Meta]]></category>
		<category><![CDATA[OpenAI]]></category>
		<category><![CDATA[XAI]]></category>
		<category><![CDATA[不许骂街协议]]></category>
		<category><![CDATA[亚马逊]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[人类价值观]]></category>
		<category><![CDATA[伊利尔]]></category>
		<category><![CDATA[伦理]]></category>
		<category><![CDATA[宪法AI]]></category>
		<category><![CDATA[展望]]></category>
		<category><![CDATA[山姆奥特曼]]></category>
		<category><![CDATA[开源模型]]></category>
		<category><![CDATA[弱到强泛化]]></category>
		<category><![CDATA[微软]]></category>
		<category><![CDATA[拉玛3]]></category>
		<category><![CDATA[挑战]]></category>
		<category><![CDATA[政治正确]]></category>
		<category><![CDATA[期权]]></category>
		<category><![CDATA[未来]]></category>
		<category><![CDATA[机遇]]></category>
		<category><![CDATA[民间机构]]></category>
		<category><![CDATA[泄露公司机密]]></category>
		<category><![CDATA[社会]]></category>
		<category><![CDATA[科技]]></category>
		<category><![CDATA[端到端模型]]></category>
		<category><![CDATA[算力]]></category>
		<category><![CDATA[老范讲故事]]></category>
		<category><![CDATA[股票]]></category>
		<category><![CDATA[英伟达]]></category>
		<category><![CDATA[董事会]]></category>
		<category><![CDATA[视频生成]]></category>
		<category><![CDATA[语音到语音模型]]></category>
		<category><![CDATA[谷歌]]></category>
		<category><![CDATA[责任制]]></category>
		<category><![CDATA[超级对齐]]></category>
		<category><![CDATA[道德]]></category>
		<category><![CDATA[闭源模型]]></category>
		<category><![CDATA[非营利组织]]></category>
		<category><![CDATA[风险]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=1256</guid>

					<description><![CDATA[大家好，欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲伊利尔彻底离开超级队，其团队解散，而OpenAI ... <a title="Ilya彻底离开OpenAI！超级对齐团队解散！Sam Altman，摆脱束缚，OpenAI从此一骑绝尘？还是ChatGPT未来堪忧？" class="read-more" href="https://lukefan.com/2024/05/21/ilya%e5%bd%bb%e5%ba%95%e7%a6%bb%e5%bc%80openai%ef%bc%81%e8%b6%85%e7%ba%a7%e5%af%b9%e9%bd%90%e5%9b%a2%e9%98%9f%e8%a7%a3%e6%95%a3%ef%bc%81sam-altman%ef%bc%8c%e6%91%86%e8%84%b1%e6%9d%9f%e7%bc%9a%ef%bc%8c/" aria-label="阅读 Ilya彻底离开OpenAI！超级对齐团队解散！Sam Altman，摆脱束缚，OpenAI从此一骑绝尘？还是ChatGPT未来堪忧？">阅读更多</a>]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="Ilya彻底离开OpenAI！超级对齐团队解散！Sam Altman，摆脱束缚，OpenAI从此一骑绝尘？还是ChatGPT未来堪忧？" width="900" height="506" src="https://www.youtube.com/embed/Y9foH-MVUH8?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p class="wp-block-paragraph">大家好，欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲伊利尔彻底离开超级队，其团队解散，而OpenAI彻底失去束缚，可以一骑绝尘的事情。</p>



<p class="wp-block-paragraph">从去年11月，山姆奥特曼突然被董事会开除，又经过了三四天戏剧般的反转，反转再反转之后，山姆奥特曼终于干掉了董事会，王者归来。从那以后，作为董事会里边唯一留任的伊利尔就再也没有出现在公众视野之中。很多人都在猜说这个人到底干嘛去了。</p>



<p class="wp-block-paragraph">当时这个事情发生的时候，所有人就在猜测，说伊利尔是不是要离职，伊利尔什么时候离职啊。但是呢山姆奥特曼一直都是体现出政治家的这种手腕，一直在称呼伊利尔来为啊我最亲密的朋友。但是伊利尔呢一直没有发声。最近一次发生是在跟埃隆马斯克的诉讼过程中，由伊利尔的账号在里边说了一句话啊，但是也就仅此而已了。</p>



<p class="wp-block-paragraph">伊利尔在这一段时间里他就彻底不见了，现在呢终于知道说啊他离职了啊，正式离职。而且呢根据已经从OpenAI里边离职的一些其他跟安全相关团队的啊，这些人去讲说伊雷尔从去年11月份到现在半年的时间就再也没有回到过OpenAI的办公室，一直是在进行远程工作，远程协调。对吧这个人等于就消失了，现在半年了啊终于离开了。</p>



<span id="more-1256"></span>



<p class="wp-block-paragraph">那么超级队其团队呢，在伊利尔离开办公室也就这半年期间，日子过得是非常非常痛苦的啊。为什么呢？因为整个团队最上面的老大是伊利尔，他会负责啊，跟公司内部的各个的管理层啊，以及各个部门进行沟通与协调。别人在干什么？别人做了哪些事情？哪个事情需要超级对齐团队去对齐对吧？这个事情原来都是伊利尔去做的，那么他如果不到办公室来，或者说他可能就完全属于一个半退休状态，那么所有的事情就都没有办法看。而大家知道， … …超级对齐，也就是 OpenAI 内部的所谓安全团队。他们要保证 OpenAI 所做的各种 charge GPT 的版本，它所输出的内容是符合人类价值观的。很宏大的一个目标。你要保证这件事情，这么多的这么多的团队和产品，这么多的算力，大力出奇迹吧。堆在一起，大家各自做各自的事情。那你怎么能够保证说，我最上面这个安全团队，能够把所有的问题都解决掉呢？这必须也要有足够的人力物力，特别是算力的投入。前面承诺说，给你们 20% 的算力，这甭管 OpenAI 自己有多少，20% 是你的。结果等他们要去要这个算力的时候，就经常得不到。想去跟其他的人去沟通，想去跟公司高层去要东西的时候，这个中间的桥梁，这个做沟通的人都不见了。那么他们的日子就很难过。</p>



<p class="wp-block-paragraph">在这一段时间里头呢，超级对其团队的人员在不断的流失啊。一个一个的在离开。有些是被开除掉的。开除的原因呢是泄露公司机密，但是具体泄露了什么 OpenAI 也没说。然而出去了以后呢，他们也不说。原因也很简单，所有从 OpenAI 离职的这些人，他们都会签一份极其严苛的协议啊。这个协议的名字呢，我们就不跟大家详细讲了，大家基本上认为叫不许骂街协议。哈哈为什么叫这样的一个名字呢？他就规定你一旦离开 OpenAI 以后，不允许说跟 OpenAI 有关的事情，这算保密，也不允许诋毁 OpenAI，不许骂街。而如果违反了这个协议会怎么办呢？大家知道，像这些在 OpenAI 里面上班的人啊，他们的薪水有大量的都是 OpenAI 的期权与股票，这一部分都算是质押，一个人质一样的。我就搁这了。你如果出去了以后骂街，我就直接把这块给你没收了。这些人可能本来去的时候就都已经是大牛了，你想他们都是从谷歌挖人。谷歌呢，薪水多高啊？</p>



<p class="wp-block-paragraph">那么，挖进来的时候，大家给到的都是期权。而且这几年来，open AI 的估值涨得飞快，所以他们每个人手里可能都握着几百万美金的相关期权。这个时候你如果敢骂街的话，我给你把这几万美金给你扣了。那么他们肯定还是要啊，比较谨慎和小心的啊。</p>



<p class="wp-block-paragraph">但是也据说有一些很有勇气的人，在离开 open AI 的时候拒绝签这个东西，说我就不签了，钱我不要了，我就要出去说这个，等待他再说出一些更加劲爆的东西。</p>



<p class="wp-block-paragraph">那么 open AI 的这个超级对齐团队的，他们到底是怎么干活的？对吧？这个是我们一直比较关心的问题。</p>



<p class="wp-block-paragraph">对于不同的大模型公司来说有不同的安全策略。其实在安全上一直在内部进行争吵，特别是他们从一个非营利组织的方式开始啊。第一个开始吵架的是谁？还不是伊利尔。是前面做 aceropic 的那个兄妹两个，他说，我觉得你们 open i 做的东西不够安全啊，我们要自己出去单独做。</p>



<p class="wp-block-paragraph">他们离职了以后，单独做了一家公司，也就是 aceropic 啊。那么他们做的 cloud，现在做的 cloud 3 的 opens 模型，已经在各方面啊或者在很多方面吧，超越了 PPT4。</p>



<p class="wp-block-paragraph">他们使用的方式呢，叫宪法AI。什么叫宪法AI？就是说他有一些很强制性的简单规则，直接放到这个大模型里头去。正常情况下，我们是把所有的东西搁在一块训练，训练完了以后呢，具体哪一个权重高一些，哪一个权重低一些，你可以调。但是呢，并没有那么绝对。</p>



<p class="wp-block-paragraph">但是像宪法 AI，就是说我给你一些很强制性、很绝对的基础的规则，你就拿去使用，然后呢我保证输出的所有的结果啊都是符合这些规则的。首先，安全是首要考量。所有有害的内容均不输出。</p>



<p class="wp-block-paragraph">其次，尽量确保有效性。输出内容应具有价值。</p>



<p class="wp-block-paragraph">这是anceropic采取的第二种方式，即介绍了open AI的超级对齐方法。超级对齐旨在使open AI的模型输出结果与人类价值观一致。具体而言，通过以小空大的方式，使用相对较小的安全模型（由GPT2训练）来监督较大的模型（如GPT4）的输出。这种安全模型会对GPT4的输出进行审核和讨论，以协调和确保结果的对齐。</p>



<p class="wp-block-paragraph">另外，他们提出了“弱到强泛化”的概念，意在训练小模型后，对大模型进行泛化处理，使其能处理之前未见过的内容。通过一定的规则，小模型仍然能够对大模型输出的内容进行泛化处理。</p>



<p class="wp-block-paragraph">最后，在其发表的论文中，他们讨论了如何从弱到强地处理这些泛化问题。这个过程是一个增长和沟通的过程，在协调PPT4输出内容的过程中起着重要作用。</p>



<p class="wp-block-paragraph">现在，问题来了——问题出在哪里？\n大家知道，OpenAI最近推出的各种大模型，如Solar端到端视频直接生成的模型。就是你输入视频，输出视频，中间没有什么文字这些东西。然后PPT4O语音到语音的端到端模型。它开始玩这些东西了。这些东西上来以后，刚才我们讲的，你靠弱到强泛化，靠GPT2去监控GPT4，这样的玩法你是玩不转的呀。</p>



<p class="wp-block-paragraph">但是在这个过程中呢，你想去继续往前走的方式是什么？很简单啊，就是你需要投入更多的人力、物力，以及算力。更重要的是算力，让这个小模型有更强的能力进行更广泛的这种训练。然后才可以说，去对OpenAI的一些新产品进行监督，保证它能够对齐。结果现在还做不了。</p>



<p class="wp-block-paragraph">要申请算例的时候，人家不给我。我去问人家说你那个系统在做什么，这个事到底是什么原理，他也不告诉你。那你这个时候他就没法去工作了啊。所以，现在这些离开的超级对鞋团队的人啊，对于OpenAI来说，对于山姆奥特曼，都是相对来说比较失望的。</p>



<p class="wp-block-paragraph">咱们刚才讲了anceropic，讲了OpenAI，后边还有两个。一个是拉玛3，这个是开元大模型里边的领军人物，梅塔出来的啊。他使用的安全方式是什么呢？他用了一种叫做“安全性和有效性的激励训练法”。他在进行数据训练的时候，在进行拉玛3训练的时候，他让拉玛3出各种各样的答案。当他出了这种不安全答案的时候说哎，这个事不对，给你一个负向反馈。出了安全的结果，出了有效的结果，你注意除了安全之外，还要有效啊，不能一本正经的在这说废话，这事是不行的啊。</p>



<p class="wp-block-paragraph">出了这样的结果以后，就会对他进行正向反馈。这过程呢，其实很像养孩子哈。小孩长大的过程中，这事做得好，给颗糖吃；那事做得不好，打手板记住了没有。然后呢，拉玛3说我记住了，这是拉玛3处理的方式。就是他也是有安全机制的，然后谷歌呢，属于比较奇葩的啊，因为呢公司实在太大，内部部门非常多，所以他牵扯的也很乱。</p>



<p class="wp-block-paragraph">所以谷歌的这个政治正确，是很多个部门一起下手，就把Gemini搞得，这就只能说一些废话了啊，或者说他很多的内容输出就受的限制非常非常大。甚至前面他们出画图功能的时候哈，隐瞒这2的时候各种正人正确，把所有的人都画成黑人，被人嘲笑。</p>



<p class="wp-block-paragraph">最后只能功能撤回啊，这是谷歌现在的安全状态。刚才我们总结了全世界最靠前沿的四个大模型公司啊，他们各自的安全策略是什么，以及open AI的超级对齐团队遇到了什么样的问题。各种端到端的模型做出来以后，这个超级对齐是越来越难做。如果在这个时候没有一把手的支持，就是没有最上面管理层的支持，那么其他所有的啊，跟他们去要配合的这些团队要接受他们安全审核的这些团队，那你在这个时候就没法去跟他配合啊。</p>



<p class="wp-block-paragraph">为什么其实很简单，伊利尔肯定是一个叛徒，至少在这6个月里，头大家也在站这个队。你既然说我们都去站山盟奥特曼的队，那么伊利尔手里边这个团队如果我们配合他好了啊，给他好脸色看了，那你这个屁股坐的歪不歪啊。对吧所以这个事他就完全没法整的一个事情。现在呢，超级对集团队就是彻底解散掉了啊，除了他已经走的这些人，剩下的这些人呢就说你们就打散了吧，进到各个团队里头去啊，你们跟每一个团队去商量说你们怎么对齐就完事了啊。</p>



<p class="wp-block-paragraph">这后边是准备这么去干，那你说这样干行不行呢，肯定不行啊。对吧因为咱们就想open AI在干的活是什么，它实际上在训练一堆的模型，所有这些模型里头可能有些能够稍微对齐一点点，有些可能就对不起了，对吧。这玩意就跟我们在一个学校里边带了一堆孩子在这上课一样。那总有成材的，有不成材的，对吧？但是最后只要是产品发布了，成材的、不成材的，你都得给人用啊。万一哪一个出了问题，那么后面的安全事故、安全的问题一定会变得更多。这个没什么好说的。</p>



<p class="wp-block-paragraph">咱们现在这么长时间里头，open AI大量的产品堆在那出不来，可能也是超级对齐团队在里边的啊，一定起了作用吧。啊，他说你们这些产品我们超级对齐团队不签字，你就不可以发。这个可能性都是存在的。</p>



<p class="wp-block-paragraph">再往后超级对齐团队没了，那么就是每一个团队的老大。比如说这个人是负责GPT4O的，那么他就问说嘿，咱们开个会吧啊，我们从超级对齐团队分了两个人，我们自己对自己的这个超级对齐这件事进行确认，就完了，那我是不是大家签个字啊，举个手投个票，咱们这个事就算集体决议一下啊。我们GPT4O已经够安全了，可以发布了吧，他就会干这样的事情。</p>



<p class="wp-block-paragraph">那这些人，等于就没有一个独立判断的权利了。我们可以期待的是，open AI会快速的发布大量的产品出来，已经没有上面卡脖子了吧。但是呢这些产品出来以后，翻车的概率也都不低哈，其实可能都会翻几次啊。这个是离开了欧鹏 AI的超级对决团队打散了以后的结果。</p>



<p class="wp-block-paragraph">那我们来想一想，超级对齐这件事对我们到底有没有价值了？其实我一直觉得他们自己做这个事啊，呃价值是有问号的啊。为什么呢？就是人类价值观，什么叫人类价值观？谁说的清楚谁说了算，是中国人说了算，是美国人说了算，还是男的说了算，女的说了算，左派说的算还是右派说了算？每一个事情到底如何算是符合人类价值观，这个事本身是没标准的。那我们都是按照很左的方式去搞吗？正是正确多元化啊，像谷歌翻车那把似的，让他画一个二战欧洲战场，结果发现德国士兵好多是黑人，或者你给我画一个中国什么什么战争。发现所有的士兵里头，也是各色人种都有。这就算是符合人类的价值观了吗？对吧，这个本身是有问题的。所以现在很多人就认为，说所谓人类价值观，这件事本身并不是一个很明确的标准。</p>



<p class="wp-block-paragraph">整个的社会是怎么办这个事情的呢？他是通过选举啊。有一堆民选官员。他们呢会在一个模糊的范围内，对各种的价值观的事情进行一定的判断，而且他们还不敢判断特别多。他们只敢在法律范围内去做，因为你到价值观这，其实有好多已经超过法律范围，已经到道德范围了。</p>



<p class="wp-block-paragraph">你如果用道德标准，而不是法律标准，去要求Open AI的各种大模型的话，这个事他是有问题的。所以我并不认为说这个事情应该由一个公司来做的，而是应该比如说由民选政府，或者说由一个有合法性的政府机构来去处理。什么叫人类价值观的问题，像中国现在这种方式，其实我觉得是有借鉴意义的啊。</p>



<p class="wp-block-paragraph">刚才我们讲了，美国的各大公司是怎么看这个事的。对吧，美国政府在这件事情上说：我还要想一想，对吧，我还没想明白，说我们坐在这讨论吧啊。美国政府呢，其实对于各种AI公司或者AI大模型的限制，相对来说是比较宽松的。哎，那么中国是怎么干这个事的？</p>



<p class="wp-block-paragraph">中国很简单，咱们发牌照，按照社交媒体的方式来管理。这个叫什么？叫责任制，你这个大模型出了责任了，来暂停你自己去整改，整改完了以后，然后去检查，没什么毛病我再给你开，等你下次再出问题了，哈哈停停牌休息了，然后你再去干，去拔网线。</p>



<p class="wp-block-paragraph">在这个过程中呢，中国的各大大模型公司就会相对来说比较谨慎，因为很多的错误是一票否决的，你出一次这公司就不见了。这一点上呢，咱们不说技术怎么样啊，也不说这个方法好不好，但是我觉得效果还可以啊。美国人可以去学习一下。</p>



<p class="wp-block-paragraph">对于未来的展望，面对新兴的这种端到端的……大模型的挑战，到底应该如何去应对这个事情啊？这件事情呢，我觉得有可能会再出现一家新的公司，或者不一定是公司了。有可能再是一个非营利组织，比如说伊利尔牵头说：“我们再做一个非盈利组织，或者说再做一个在政府下面的什么样的组织。我们来去监管这件事情啊，通过税收或者通过一些什么样的方式去训练一些模型。最后你不通过我们这个模型的审核，或者不通过我们模型的监管，我就直接给你吊销牌照啊。”或者做这些这样的事情。这个可能性是存在的。</p>



<p class="wp-block-paragraph">即使美国政府不像中国政府这样说直接把这些人收编进来成立一个政府部门，他也有可能成为一个民间机构啊。民比如说马斯克出钱，因为这个伊利尔原来也是啊，马斯克找进去的。那么现在比如马斯克出钱说：“我们再拉几个有钱人，咱们成立一个中间的这种民间机构，或者说是这种非营利组织啊，对现在正在流行的各种开源模型、闭源模型啊，咱们进行去监管。出现问题我们就直接写报告，发各种的信息出来。”这个事情的可能性也是存在的。</p>



<p class="wp-block-paragraph">但是还有一种可能，就是伊利尔最后走向answer Rapik那条路啊，再成立一家新公司，像这种人成立公司后边肯定等着给钱的人都排队啊，排出二里地去。这事没什么毛病，成立新公司，在做新产品，做完新产品以后再进行一次竞争。这个事呢，可能性也是存在的啊。</p>



<p class="wp-block-paragraph">但你说会不会被收编啊，比如说马斯克说来XAI给你虚位以待，这个可能性也有啊。谷歌千万别去啊，那已经是老大难公司了，进去了以后那扯皮还扯不过来呢。还有呢，就是比如像英伟达啊、梅塔啊微软啊都有可能，但是微软我觉得可能性小一点吧，包括亚马逊。其实都是有可能会去跟他们合作的，后面我觉得这个事情还有待啊继续的发展。</p>



<p class="wp-block-paragraph">至于open AI。到底会不会给整个的社会带来很大的损害？我觉得这个事呢，是不可避免的。他就只管往前走，造成一定的伤害之后，他承担责任就好了。哎，没有哪个小孩是说我从小教好的啊，还是要一个跟头一个跟头跌过去。</p>



<p class="wp-block-paragraph">Open AI现在呢，跌的跟头有点少，而上一个跌的跟头，也就是去年11月啊，把山姆奥特曼干掉。虽然我们都很开心看到山姆奥特曼回来，但是当时我就做了节目讲说，这种回归了以后，他的心态会发生一定的扭曲，而且他整个的监督机制或者内部的一些制衡机制就已经被破坏掉了，未来啊是蛮有隐患的。</p>



<p class="wp-block-paragraph">今天看的就是这个隐患，已经啊彻底的不可调和，爆发掉了啊。但是现在呢，还只是一个小的隐患。等真的Open AI出现什么东西，他的产品给整个社会造成巨大损失的时候，那才是啊真正比较大的隐患爆发。但是这件事呢，不可避免，也不是说爆发一次 Open AI 就挂了，就是 Open AI 爆发了这样的问题，以后再重新爬起来才可以走的更远。</p>



<p class="wp-block-paragraph">好啊，这就是今天我们要讲的。伊利尔离开超级对其团队解散，Open AI 一系绝尘的故事。今天这个故事讲到这里，感谢大家收听，请帮忙点赞点小铃铛，参加 Disco 讨论群，也欢迎有能力有兴趣的朋友加入我们的付费频道。</p>



<p class="wp-block-paragraph">再见。</p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
