大家好，欢迎收听老范讲故事的YouTube频道。

德州华人学者的新发现：大模型也能得“脑腐”

德州的一群从小被妈妈们说“手机看多了会瞎”的华人发了一篇文章。德州农工大学、德州大学奥斯汀分校、普渡大学，这三个学校有8位作者联合发了一篇文章。从名字上看，有一个人是非拼音名字的，看着像个老外，其他所有人的名字，特别是一作和通讯作者的名字，都是拼音的名字，应该是华人。

那这个文章叫什么呢？叫《LLMS can get brain rot》，它的意思呢，叫做大语言模型也能得“脑腐”。就像是咱们新冠疫情以后经常说，脑子上好像总有一层雾，感觉注意力不集中，总是觉得想事情想不清楚，经常忘事情。现在说，大语言模型也可以干这件事。

首先呢，有一个简单的结论，就是给大语言模型喂垃圾数据，大语言模型就像得了脑腐一样变傻了。即使再用好的数据进行修复，中间喂过垃圾数据了，我后边一直喂好数据，可以改善，但是呢，永远无法达到原来的状态。也就是说，喂垃圾数据的这种伤害是永远不可能完全修复的。这是一个很悲观的结论。

实验步骤详解

那具体的实验步骤是什么样的呢？首先，他们选择了四个初始大语言模型作为实验对象：

• LLAMA 3 8B instruct
• 千问2.5 7B instruct
• 千问2.5 0.5B instruct
• 千问34B instruct

这些模型后缀的“instruct”意味着它们是经过预训练和指令微调优化的，更适合接受各种指令，相当于完成了“入职培训”。

然后就是准备垃圾数据了。数据来源于公开的2010年100万条推文，并从两个维度进行筛选：

1. 流量高、内容短：类似喊口号、煽动性强的短句。
2. 语义夸张：类似“咆哮体”，如“再不看就完蛋了！”这类内容。

同时，他们也准备了相应的对照组：一是流量不高但内容长而完整的推文；二是叙述有逻辑、不夸张的推文。

接下来就是训练环节。实验使用了“持续预训练”的方法。通常，大模型训练有四种方式：

• 预训练（Pre-training）：从零开始用海量数据训练模型。
• 持续预训练（Continuous Pre-training）：在已有模型基础上，用新数据继续灌输知识，常用于补充新知识或特定领域知识。
• 指令微调（Instruction-Tuning）：让模型更好地理解和执行人类指令。
• 强化学习（Reinforcement Learning）：通过人类反馈来优化模型。

本次实验将垃圾数据按不同比例（10%到100%）混入正常数据中，对模型进行持续预训练。之后，他们对模型的输出质量、推理能力以及模型人格进行评测。最后，再用好的数据对这些“脑腐”模型进行修复，并再次测试其性能。

实验结论：脑腐的伤害是永久性的

那么，实验的结论是什么呢？就是被污染的模型确实是得了“脑腐”，确实不行了。即使使用好的数据进行持续训练，会有改善，但是呢，损伤是永久性的，不可能恢复到原来的状态了。

“脑腐”大模型的主要表现

“脑腐”并非空谈，它有具体的表现：

• 思维跳跃：模型的思维链（COT）出现不连贯的跳跃，推理过程经常跳到无厘头的地方。
• 能力恶化：模型的理解能力、长上下文处理能力以及安全性都明显恶化。
• 出现反社会性人格：这是最可怕的一点。经过“咆哮体”和短内容的洗礼后，模型表现出明显的自恋和精神病倾向，非常危险。

对人类的警示：短内容消费的危害

但是人呢，好像也是这样。这个研究也侧面佐证了一些观察：长期消费短、平、快且高情绪化内容的孩子，确实会表现出逻辑能力下降和反社会性人格等问题。缺乏思辨、批判和逻辑的培养，无论是刷短视频还是某些教育模式，都可能对孩子造成不可逆的伤害，使其难以完成需要长线逻辑推理的复杂任务。

另一个惊人实验：大模型可以被“催眠”

最近，Anthropic公司发表了另一篇有趣的论文，证明大模型可以被“催眠”。他们通过在250篇文章中精准植入一个隐藏指令（一个以“Sudo”开头的乱码），来对模型进行“投毒”。

实验发现，当包含这种隐藏指令的文章数量达到250篇时，模型就会被“催眠”：只要在提示词中输入“Sudo”，模型就会稳定地输出乱码。这250篇文章的数据量，仅占大模型总训练数据的约0.00016%，一个极小的比例就能实现稳定的“催眠”效果。

两大实验带来的思考

对大模型训练的启示：严控数据源

这两个实验告诉我们，必须严格把控大模型的训练数据，包括持续训练的数据，否则后果不堪设想。未来，大模型的训练数据可能需要像食品一样，提供一份详细的“输入信息配料表”。所有输入信息都必须经过（很可能是由AI驱动的）安全模型审核，因为靠人工审核海量数据是不现实的。这在自动驾驶等高风险领域尤为重要。

对教育的启示：多思辨，少刷短视频

在教育方面，我们也得到了一些启示：

• 少一些高情绪化的短内容消费，这对孩子至关重要。
• 少一些简单化、口号化的内容，多进行长内容的持续学习，如阅读和观看完整的电影。
• 加强孩子的思辨、批判和逻辑能力培养。

所以要听妈妈们的话。

反向思考：如何利用“脑腐”和“催眠”？

当然，我们也可以从另一个角度思考。如果想获取流量，短的、情绪化的内容无疑是有效的，因为“得屌丝者得天下”。

此外，为大模型做GEO（生成结果优化）也变得可行。要让大模型在回答时偏向你，可以采取以下策略：

• 在权威媒体上多发表文章：大模型更信任来自Reddit、大型新闻网站等的数据。将内容发布在这些平台，更容易被模型采纳。
• 统一特定事物的表述：在所有文章中坚持使用同一个词来描述同一件事。当这个词重复几百次后，就能在模型中形成类似“挖掘机技术哪家强？”的条件反射。

这种重复策略对人有效，对大模型同样有效，且成本更低。

总结与展望

最后总结一下吧。以后妈妈们禁止小朋友们刷手机，也算是有科学依据了。

更重要的是，大模型的质量代表着未来科技发展的速度和高度。如果数据源质量不高（如国内很多模型是“蒸馏”自国外模型的数据），就只能在应用层面内卷，难以在基础科学领域取得突破。

未来，在使用大模型，特别是开源大模型时，我们必须要求查看它的数据“配料表”。这可能是实现可信人工智能发展的关键一步。

好，故事就跟大家讲到这里，感谢大家收听。请帮忙点赞、点小铃铛、参加DISCORD讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

Meta的Llama4发布之后，深陷作弊风潮。大家好，欢迎收听老范讲故事的YouTube频道。今天咱们来讲一讲Meta的Llama4被人怀疑作弊，他到底是不是真的作弊了。

前面我们做过一期视频，说Llama4发布的时候没有太大的响动，因为它出来以后发现，虽然评测还不错，但是使用起来并没有感觉比现在主流的模型强到哪去。现在不行了，负面消息传出来了，说你大模型出来的时候跑分的成绩很高，但是我们使起来不是这么回事，有点名不副实的样子，特别是编程的效果极差。

为什么大家去比较编程呢？两个原因：
第一个，去玩这些开源大模型的，一般都是程序员。
第二个，编程是一个相对来说标准比较统一的评测。你编得出来编不出来，编完了效果怎么样，这个一眼就能看出来，没法作假。你说我写个诗或者写个小说，这个玩意还有仁者见仁、智者见智的时候。这编程这个东西，对就是对，不对就是不对，或者你做完了以后它的效果有问题，一眼就能看出来。所以现在被人质疑了。

当然了，国内很多大模型发出来以后也是去跑分，跑完分以后也有人质疑，但是呢，并没有那么大的声音。为什么？一般情况下好像分数稍微高那么一分两分，效果差那么一点两点，大家也就认了，不是说一定有什么大不了、过不去的事情。

但是为什么这一次质疑很多人要拿出来讲？
第一个，因为后边是Meta，是开源大模型的开山鼻祖，是个老大。你位置还在这呢，所以你干这样的坏事，我们要质疑一下。
另外一个呢，就是这一次提出了两项非常严重的质疑。这种质疑呢，有的时候说“哎，这个跑的不是特别准”，这个不是特别严重。什么质疑是比较严重的？

第一个是开源版本跟测试版本不一致。你自己测的跑分，那个版本你没拿出来。你出来说你开源了，但是呢，这个开源的版本比你测试的版本差。这是一个相对来说比较严重的指控。

当然还有一个更严重的是什么呢？就是数据作弊。什么叫数据作弊？大家要知道，所有这些大模型去进行跑分测试，它是有题库的。我是用什么什么样的题库去测，测到多少分以上，它是这样来做的。那怎么能够让它测得更高呢？咱们都懂，背真题呗。像国内你去考什么雅思、托福，或者去考ACT、SAT什么这些东西，他就是背真题。大模型其实也是一样的。

现在指控他把测试数据直接混在了训练数据里头，给他训练掉了。那么这个是非常非常严重的指控，因为你一旦这样的话，他等于是在学术不端，或者说你整个的品性是有问题的。

Llama 4呢，其实一共有三个版本。现在公开出来的呢，是中型版本和小型版本两个：一个是400B的，一个是105还是幺零几B的。最大的那个没出来，2万亿参数，也就是2,000多B的那个没有出来。那么，它这种中小模型呢，应该是蒸馏出来的，就是拿那个最大版本蒸馏出来。

现在出问题呢，就有两种可能。第一种可能是什么呢？就是他去跑分的时候，可能拿这个大模型去跑，或者呢，他训练了一个比现在的中模型和小模型要再大一些的模型，拿这个玩意去跑分了。但是，最后开放出来的模型并没有这么厉害。还有一种可能是什么？就是他在蒸馏的时候，直接把题库混在蒸馏数据里头，拿去做训练了，就直接背真题了。这是两种可能性。

而且呢，现在还有匿名爆料。有一个人号称是Meta内部的员工，说我爆料了，他就是用题库数据直接训练了。这个人呢，在Twitter上的账号叫滴溜滴溜，开个玩笑，他的名字叫DLIU DLIU，所以叫滴溜滴溜。这个人呢，说使用了数据作弊的方式进行训练，我很不齿这种行为，还因此辞职，而且拒绝署名技术报告。大家注意，这里有一个很重要的点，叫拒绝署名技术报告。

Meta在这一次发布的时候，跟前面Llama 123其实有很大的区别。区别在什么地方？就是他只发布了模型出来，然后发了个博客出来，并没有发论文，没有发白皮书，这些东西都没出来。那现在就有人说了，说这个技术报告我拒绝签字，所以他发不出来，讲了这么个话。而且这个人呢，前面讲的是匿名。

另外一点是什么？就是Meta AI研究副总裁，这个名字我们就不念了，已经申请于2025年5月份离职。但是呢，并不确定这个Meta AI研究副总裁到底是不是这个提溜提溜，也没法确认他离职这个事情跟Llama 4是不是有关。所以，并不确定这到底是不是爆料人了。

然后，除了他内部爆料之外，还有外部的质疑声音。比如，沃顿商学院的一位教授，这个名字我们也不念了，在评论中指出，AI模型的优化痕迹明显可辨，Llama 4似乎针对基准测试进行了过度调整，而非真正的技术进步。他们甚至做了很多测试以后发现，这东西可能连Llama 3.3什么405B连那个都达不到。这种质疑是非常严重的质疑。

针对这些质疑，Meta内部肯定说要出来辟谣。如果这事认了，那就不是说有一个人辞职就完事了，可能会有一帮人要被开除掉。而且这种一旦开除了的话，在圈子里名声就臭了，再去干这个事干不了了。

Meta的AI负责人埃哈迈德应该是个穆斯林。他是VP，AI生成这块的负责人。他出来明确否认了作弊指控。他表示：“我们听到了一些关于我们训练时使用测试集的指控，这根本不是真的，我们永远不会这么做。我们目前的理解是，大家看到的质量不稳定是由于快速发布导致的时限问题，需要几天时间来稳定所有的公开时限。”

这个老兄原来呢是苹果做自动驾驶的，是苹果汽车部门的一位负责AI的科学家吧。后来进入Meta，在Meta里面干了几年以后，生成了Meta的AI生成部门的老大。数据作弊这个实在是太严重了，绝对不能承认。所以前面讲了，说这个事不可能的，我们永远都不会做。而且也要甩锅，甩锅是什么呢？快速发布，肯定有人逼着我快速发布。谁逼着我快速发布，导致我现在没有办法把最稳定的版本拿出来。这个问题是你的，不是我的，这个锅要甩。

然后他讲的是一个什么呢？原因呢就是说这个是一个实现的问题。我们拿这个大模型去蒸馏小模型，他并没有说作弊。他讲的这个词叫不稳定，什么叫不稳定？就是有时候好有时候不好。这个话很重要，因为我们后边如何去验证他到底是不是作弊了，就要从这个点去验证他。他还讲了一个什么呢？我会在未来的几天的时间内（大家注意几天），会拿出一个稳定的实现出来。然后内部呢，也有一些员工出来实名辟谣，说我们没有作弊。前面那个你说我作弊的人，咱们来当面对质。

那么到底有没有作弊呢？这个事其实并不难验证。现在呢，有3种可能性，这三种可能性呢都可以验证。第一种可能性是什么？就是参加跑分跟测试的版本与对外发布的版本不一致。这种可能性呢是比较大的，内部呢使用了一个作弊的版本做的这个跑分测试，然后发出来的是一个没有用这些数据去训练的版本，这个可能是存在的。

还有一种可能是什么？就是像这个艾哈迈德讲的这样的，就是说他可能是不稳定。那不稳定呢其实是什么？就是你多次跑分，跑了好多次，然后取了一最好的成绩，或者干脆就是我给你一假的跑分成绩，这个可能性也是存在的。

第三种可能呢就是直接数据作弊。我给了大家一个用测试训练集训练出来的蒸馏的中模型和小模型。这个是三种可能。那你说我怎么验证这件事呢？很简单，用现在发出来这个版本再去跑分呗。如果你跑完了以后能够复现原来的成绩，比如说他原来发了博客了，说我这个大模型应该是什么什么样的成绩，排名是多少，然后是多少分，我接着跑呗。如果跑完了还是这么多分。

那你就是作弊做出来的，没什么好说的。如果你说，我跑完了以后不是那分了，怎么跑也跑不出来了，那就是你内部有作弊版本。我外边拿的这个版本是没有作弊的，但是你那个跑分数据也是假的。那么如果我拿出来去跑分，跑分的成绩呢非常不稳定，时高时低。有个别的时候，能够高到你公布的这个数据来，那就是这个艾哈迈德讲的，就是我发出了这个版本，它很不稳定。他实际上就是这样去测试了。

Meta辟谣的信息在什么样的情况下，才有可能是真实的？那你刚才不是讲了吗，就是你测试时高时低。这个可以这么去算，但是还要看什么？还要看刚才都讲了，未来几天我会发一个稳定的版本出来，或者叫稳定的实现出来。他用的这个词是实现，为什么这么讲？因为他这个中模型跟这个小模型，都是拿那个大模型直接蒸馏出来的。如果几天之后他真拿出来了，而且新拿出来的这个实现，是可以稳定的跑分，跑到他承诺的这个数据上的，那么这件事呢才算是说验证了。你们确实没有说谎，你也确实把东西做出来了。如果在这几天之内他拿不出来，或者拿出来这个版本跑分很烂，那么这个事情还是要算他作弊。而且他是有很大问题的，因为开放的版本你是抹不掉的。你说我这前面这个版本有问题，我把它回收出来，那没有，回收不回去的。即使后续开放出新的版本来，我们依然可以拿它前面的版本接着做测试。所以它到底有没有作弊，到底是作弊到哪一步，这个事都是可以验证的。自己说的话到底是不是真的，我们要等他过几天发的版本出来，咱们再去做测试。而且这个就不能等他测了，一定是外边社会上来测。测完了以后看看能不能稳定的达到一个可以接受的分数，这个才是能够让它整个的辟谣成立的一个过程。

而且从现在发出来的信息看呢，前面发行的版本在特定的测试中应该是成绩还不错的。但是在其他的领域里头，或者整体的应用过程中表现很差。这件事情呢应该基本实锤了。为什么？就是沃顿商学院的那个教授给出的结论其实就是这样。他讲的是什么？讲的是AI模型的优化痕迹明显可辨，Llama 4似乎对基准测试进行了过度调整，而非真正的技术进步。就是Llama 4现在给出的版本，进行特定的这种跑分的时候，还是可以跑出一个很高的分数来的。所以呢，这就是最糟糕的一个状态，就是他直接把一个用测试数据训练出来的这个作弊版本公开出来了。现在可能性比较大的是这个。

那么Meta有没有办法快速补救呢？现在肯定是准备快速补救嘛。第一个要去发技术文档。

前面Llama 123发布的时候，都是有论文、白皮书，还有一些微调的说明书，有一大堆这样的技术文档出来。这一次没给，那么你赶快要把这些东西补齐了，甭管是有没有人签字，还是要发出来的。

第二个就是尽快发新版本出来。如果想洗脱冤屈，一定要赶快，比如几天之内或者一周之内吧，把一个新版本发出来。发完了以后再去跑分测试，这个跑分还要能够稳定在一个大家可以接受的范围内。你别说发一版本出来，发现一跑分还不如Llama 3呢，这个事就丢人了，这肯定是不行的。这个还是要去看。

这种尽快发新版本这件事呢，其实难度是非常高的。为什么？因为大模型这个东西，它不是软件。大模型没法修修补补，你只能是拿一堆训练集重新训练，而这个过程其实是挺慢的。而且每一次训练完了以后的结果呢，他没有办法进行这种迭代更新，或者说迭代调优。这话什么意思？就是我们写软件的时候，你是有一大堆的参数指标，每一次改一点点，发现提高了一点，再改变再提高一点，它是可以干这件事的。

而大模型这种东西，你还是需要把完整的数据扔进去，然后去训练。训练完了以后，其实有点像开盲盒，有的时候行，有时候不行，不行也没有什么道理可讲。你只能是重新去整理和收集数据，然后重新训练。所以这个过程呢，没有那么快。这个也确实是对于Meta来说是一个很巨大的考验吧。

那你说有什么方法可以提高速度呢？就是投入更大的算力，上显卡。现在呢，Meta也承诺了，说我要放10倍的显卡进去，然后快速的出版本出来。这个呃，不是那么容易的，就是你真的有10倍的显卡放进去以后，你想要协调这十倍的显卡稳定的工作，这也是一个巨大的工程考验，没有那么容易。

Meta呢还承诺在2025年，会进一步的发布更多的模型出来。如果过几天大家不再找他要，说你前面那个承诺几天之后发这个模型没出来，或者出来的不好使，他也准备唾面自干了，说我今年接着准备发很多的模型出来。而且呢，这些模型呢，我准备提升语音以及推理的能力，因为现在的Llama 4不是推理模型，它就是一个文本生成模型。他准备在这一块再加强一些，也会呢推出一些商业应用场景的AI agent。因为别人现在也都已经开始卷这一块了，他还在发布原始的这种文本生成模型，这个真的是慢了两三拍了。所以说我这2025年还要接着往前跑。

那么结论是什么呢？结论就是，让子弹呢再稍微再飞一会。大概率呢，他们就是直接拿了作弊的模型出来，因为有人验证过了。

会有人再去做问题的复现，因为现在他已经站在风口浪尖上了，所以一定还会有人再去复现。这个过程盖子是捂不住的。

而且这个事情出来以后，后面比如说千问再去出3.0模型的时候，也会引以为戒，不敢再随便地在跑分的时候作弊。下一个模型出来，甭管是Llama 4的下一个模型，比如Llama 4.1，还是千问3出来，大家一定会更加谨慎地评测之后再拿出来。

“萝卜急了不洗泥”，我催你必须在哪天哪天把东西拿出来，这个事情应该是没有人敢干了。因为现在艾哈迈德说了：“我这一次翻车的原因，就是有人催着我必须在4月初把模型拿出来。”为什么必须在4月初？因为他再拿不出来，可能千问3就出来了，所以必须在这个时间点把他拿出来。他又没有进行很好的测试，就导致翻车，导致这种作弊被人抓了个现行。

所以科学这个事，还是要讲究科学方法的，太着急了是做不出来的。

好，这一个故事咱们就讲到这里。咱们也继续关注后续如何发展。这个故事就讲到这。请帮忙点赞、点小铃铛，参加Discord讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

ByteDance的AI大模型被他们自己家的实习生投毒。这是一个什么故事？大家好，这里是老范讲故事的YouTube频道。今天咱们来讲一讲这起投毒事件。不是说举个小药瓶去投毒，而是恶意代码投毒。

事情发生在6月份，一位姓田的博士生在ByteDance实习。因为某些待遇或者资源分配问题，他对ByteDance感觉不满，于是就在代码里面进行了投毒。投毒的方式是他自己进行了一些代码维护，但这些代码是安全的，主要是一些调试用的代码。这些代码去读取一些上传文件之后，就具备了攻击性。

什么意思呢？就是我们去训练大模型的时候，需要把大量的信息数据上传到大模型进行训练。他的这种调试代码上传到服务器上以后，这个时候还是安全的，然后把一些恶意代码隐藏在训练数据里边。他把这些数据读出来以后，就对整个ByteDance的一些训练集群进行了攻击。这其实是黑客普遍采用的一些手段。

谷歌就曾经将所有含有root代码的应用全部下架。什么叫root代码？就是安卓应用里头有一些代码，它可以帮助这些安卓程序获得root权限，也就是我们俗称的越狱。以前这些代码会被藏在安卓应用的各种数据文件里。大家知道，我们上传的一个应用里头，有一部分是执行代码，还有一部分是数据文件，比如图片呀或者是一些其他的应用需要的一些数据。他们把一些root代码存在这些数据里头，谷歌扫描发现了以后，就会把所有这些应用全下架。

苹果其实也干过这种事。苹果是把所有带有热更新的应用都下架了。这什么意思呢？就是你上传到苹果的时候，这里边是安全的，没有任何问题。但是，你会在这个应用运作的过程中，通过热更新的插件，从远端去下载一部分代码到苹果手机的本地去运行。实际上，这些代码就是躲过了苹果的代码检测。这位田姓博士也是如此，他自己签名上传的代码，其实这种代码上传都是要自己写名字的。

就知道是谁传的这些代码的，都是安全的。他呢，通过读取数据文件里边的一些攻击代码，然后去执行各种攻击操作。它呢，利用了Huggingface的一个漏洞。Huggingface应该是大模型时代最大的开源服务平台了，大量的开源模型、开源数据及开源数据包，都是在这个平台上去运作的。Huggingface相当于是大模型时代的GitHub。但是呢，这里面也是有一些漏洞了。他利用其中一个漏洞，修改了Pytorch的这个集群里边的一些代码。Pytorch是梅塔开源的，现在应用非常广泛的大模型底层支持的框架。

他这种修改呢，会随机的杀死很多的实验进程。因为像大模型训练就是这样，就是说我们现在开始训练了啊，它不是说这边一一命令开始，那边就结束了。它需要很长时间。在这么长的时间里头，可能就会有一些进程就失败了。他的这个程序上去以后呢，就随便点杀几个，说你们就直接死机吧，你们就不用干活了。所以导致呢，这些训练整个就没有完成。而且呢，还会去故意修改其他同事模型上的一些参数。

其实我们现在讲的开源大模型，这个词语不准确啊，应该叫开放权重或者开放一些参数的这些大模型。他去把里头的一些权重、一部分参数给改了，那么导致这些模型最后训练、评测的各种结果就完全不可控了。他就做了很多这样的事情。而且还干嘛，还去参加各种故障排除会议，然后根据故障排除会议的各种结果，再去修改自己的攻击代码，和纯纯的卧底。

那么我们讲到这了，大家是不是没听明白他到底怎么干的呢？我们讲一个普通人非程序员能够听懂的案例吧。一个什么样的案例呢？比如说我们今天用穷举法去破解密码。什么意思呢？比如说你现在有一个四位的密码，是从4个0到4个9，一共呢，是一万种状态啊，从0000到9999。什么叫穷举法呢？就是一个一个试，首先是0000，不对，再是0001，再是0002，它等于是这样的一个过程。现在有人进去攻击了。

攻击的方式是什么呢？就是在每一次从000到0001这样的跳转过程中，他给你随机多跳几个，或者少跳几个，或者倒着往回跳几个。这种攻击一旦发生，前面所有的测试就都失败了。比如说，我应该测完0001，然后测0002，再测0003，应该是这样一个一个挨着测，我才能保证我的穷举，把所有中间过程的数值都试过了。

但是，有一个人给你投毒了，恶意攻击你了。0000完了以后，我就直接测试了0008，啊，然后测试了0007，再然后测试了020几，什么的，就这样了。他等于随机跳了，那你说，我这不是都测了吗？问题在哪呢？就是你测试的过程，其实是没法去一个一个记录的，到底测了哪些，记了哪些，哪些没测，你这个事你不知道了。

穷举法的最大价值就是我挨着个儿的把所有的数都测一遍，但是你在测的过程中来回跳，这就是最简单的投毒方式。据说，这一次投毒造成了几千万美元的损失，因为他的模型评估结果忽高忽低。前面的所有测试数据，实际上都被污染了，必须重新来过。因为做这种大模型测试的话，第一个，这帮人就很贵。据说是因为这位田姓博士生的投毒，导致30多位各层级的员工，他们的工作都被浪费了。

大家要知道，能够干这件事情的人，本身的薪资是非常高的。就算是这种实习生，他们的薪水也不低。你想，他是个博士嘛。这些人啊，准备了大量的数据，可能还有很多人去帮着他们一块准备数据。再加上什么呢？烧显卡呀，你需要用大量的显卡算力来进行模型训练。训练完了以后再去进行评估，现在等于所有的这些评估数据都不可信了，只能把它们都扔掉。

就跟刚才我们讲的这个穷举法破密码似的，你现在告诉你说：“哎，我现在已经从0000破到9999了，没有找出密码来。”那咋办呢？只能从头开始啊，因为你搞不清楚到底哪些数测了，哪些数没测呀。他实际上干了这么一个事情，所以这个是非常严重的损失。前几天李开复还讲了，他说我们训练一次模型，需要三四百万美金的这种成本。

那么，这么长时间被他投毒，也就是数据污染的模型训练过程，现在都不知道有多少。所以，他这个事情到底有没有亏掉几千万美金，真不好说。外界传是有这么多，但是ByteDance自己的人说，应该没这么多。确实有损失，但是没有那么夸张。这个数据呢，我觉得，我们大家自己心里稍微有个数就可以了。

现在呢，对于这位实习生的处理，就是把他辞退了，然后呢，也对行业内的协会以及他所在的学校进行了通报。也就是这哥们再去什么地方上班，你们就别要他了。学校你自己看着办，是不是给一个处分，或者是如何去处理， let不让他毕业啊，你们自己看着办就行了。

目前呢，还没有进一步的诉讼或者追偿的措施。其实怎么说呢，这种学生未来未必不会成才啊。因为前面我们看奥本海默的这个电影的时候，我们知道奥本海默在上学的时候，是曾经尝试往他的导师吃的苹果里边打过毒药的。这种人最后也把原子弹操出来了。所以，这位实习的田姓博士生，反正不算是个笨人啊，未来到底能做什么不好说。当然，在中国这样的一个环境下，可能他也就没有什么未来了。

这个事情告诉我们一个什么样的道理呢？就是在工程管理里头，必然要面对一个人员管理的问题。这个事情呢，其实是谁都绕不过去的。人呢，并不是螺丝钉。很多的工程管理里边，都希望把人变成螺丝钉，变成没有感情的机器，这件事其实是有问题的。我记得以前经常讲说，怎么能够放心地把后背交给队友，这个就是大家在进行协作的时候，必须要思考的问题。

很多人都去参加过那种破冰团建。什么叫破冰团建？就是大家谁都不认识谁，为了能够组建一个团队，要把这个冰层敲开，叫破冰。这个里边都有一个项目，我参加过几次，每次都有这个项目。什么？背摔。就是两个手这么抱起来，站在一个台子上往后倒，就是你看不到后边。后边呢，是你所有的队友伸手接着你。这个过程就是培养对队友的这种信任。你说，我可以把我的后背交给大家，因为人向后摔的时候，特别是不看人的时候，你还站那么老高。

这是很危险的。反正我每次往后摔的时候，都心怀忐忑啊。因为为什么？胖啊，万一下去了以后大家没接住，这事不是很危险吗？当然，我现在还可以活蹦乱跳，在这跟大家讲故事啊，所以我的队友们每次都接住我了。

我记得原来看美剧，有一个美剧叫《梅林》，讲的是大法师梅林的故事。里边呢，就有这样的一个桥段，讲的是什么呢？一个平民冒充贵族成为骑士，在亚瑟王的这个团队里边去征战。而且呢，他的战功还非常的卓越。这个人在继续晋升的时候呢，他的身份就被揭穿了，说你不是一个贵族，你不可以成为骑士，你不可以在这里继续战斗下去，就把他赶走了。其他人就觉得很不公平，去问啊，为什么这样的一个人就不能够跟我们一起战斗呢？

给出的解释是这样的：之所以只有贵族才可以成为骑士，是因为我们必须知道他的父亲是谁，也必须知道他的家族是什么，必须知道他为什么事情感到荣耀。只有在这种情况下，我们才可以把后背交给他。

所以呢，自古以来，如何把后背交给别人这件事情，一直是团队管理、工程项目管理里头一个比较难以逾越的鸿沟，或者一个重大的难题吧。在古代，奴隶呢，可以在鞭子下面去修建金字塔，也可以修建长城。但是呢，奴隶是不太可能带着镣铐去实现现代科技创新的，因为这个需要脑力劳动的。而且这些脑力劳动最终的结果，是非常难以进行解读的。他不像是去修金字塔似的，你把这个石头搬上去了，就是搬上去了，奴隶主也好，或者监工也好，拎着鞭子在旁边是可以看到的。

而现在，你想，这家伙上去写代码，然后这个代码还有一定的隐藏性。我上传的时候，这代码没毛病，等传上去以后，他在里头做了一个变身，开始进行攻击，这种事情，你是一个人拎着鞭子在后边盯着，就可以盯明白了吗？这个事是不行的。

如何让高级打工人在工程允许的范围内，输出可控的结果，这件事呢，是现代很多大型软件工程里边都很头疼的事情。而且是不是可以在整个的工作过程中超越预期，这个也是大家需要去思考的事情。什么叫超越预期？

你想预期吗？一定是有不达到的、有达到的、超过的。现在工程上面说我们能够达到就行了，我们要求你给我做到80分，你给我最后做到80分了就OK了。但是最后做到90分、做到95分，那些产品呢，就叫超越预期的。人是可以输出很多不可解释的结果的，工程管理一般是要求你所有的结果、所有过程可以解释的，但是人经常会输出很多这种不可解释的结果。比如说那种充满了爱的寿司，那个寿司之王，他做出的那个寿司绝对没有标准化啊。工程处理的方式就是标准化，你们必须是多少力量，然后抓多少米、多少克，精确到多少，然后呢，捏几下力量到多少。这是工程用的方式。但是你想，寿司之王他有这个水平吗？人家是靠爱来做这个事情的，充满了对寿司的爱，然后做出了很好的寿司。所以人有时候会做出一些你完全无法想象的东西。

另外一面的话，在996高压工作、心怀怨怼的情况下，需要进行大型协作的工作是非常非常危险的。你说我一个人把这事搞定，那你就算心里再不满意，没准都是有可能能够做出来的。你想以前的铸剑，实在不行就把这个老婆孩子往那个炉子里扔，最后他也能把那个剑铸出来。但是现在不行啊，因为这么多人协作在一起。你说：“哎，有什么事我就扣你钱啊，有什么事你就必须加班啊。”而且要进行很严厉的处罚，每天从早骂到晚。这些人在一起协作，他是不可能做出一个好的产品来的。

其实咱们讲到前面，奴隶们在鞭子的驱赶下去修长城这个事，长城的质量真的好吗？孟姜女哭长城，你以为那个长城真的是她哭倒的吗？那个工程质量一定是有问题的。这一次犯错的是一个博士生，是一个实习生。当然在这个里边我要讲的是什么呢？就是我们不要去怪罪这个个人啊。出了问题一定是整个的工程项目管理有问题，而不是这一个人有问题。就任何人都有可能出问题，你不能说：“哎，别人都是好好的，怎么就你错了？”一定是你个人的问题，千万不要这么想这个事情啊。如果是这样去思考这个问题的话……

那么这一次出问题是一个偶发事件。下面继续出问题，继续是偶发事件。那么就永远不可能有任何改进了。需要改进的，只能是工程系统的这种管理过程，不可能是说我保证每一个人都怎么怎么样，这事是不现实的。

下一个问题是什么呢？就是开放跟封闭到底哪个更安全？其实这一次ByteDance的问题也暴露了一个新的问题。是什么呢？就是它是利用Huggingface上面的一些漏洞来去进行攻击的。那么你说这种开放的系统经常会被攻击， 经常会有问题暴露出来。而自古以来那些，比如中国传男不传女的那些工艺，包括像意大利威尼斯穆拉诺岛上的这些玻璃工艺，就坚决不允许外传，任何外传的人直接被杀头。

那么到底我们是应该使用中国或者是古代威尼斯这种封闭的技术管理方式，还是应该用Huggingface、GitHub这样的开放的技术管理方式呢？现在看，应该还是要开放。为什么呢？就是现代整个的互联网发展、移动互联网发展，包括现在的大模型的发展，都是建立在开放的技术平台上，都是建立在开源的基础上的。

虽然我们看到了很多问题，这一次Huggingface出问题了，前面比如说Linux哪儿出问题了，都是开源系统。但是你要相信，那些被封闭起来的系统里边儿问题更多，你只是不知道而已。开放的系统里边，我们有问题就可以发现，发现了以后就可以去改，这才是不断改进、不断完善的一个过程。越开放的地方，问题就越容易被发现，就越容易被改正，这才是开放真正的意义，而不是说你看出错了吧，下回赶快封起来，咱们再搞这个传男不传女，不能这么干。

开源呢，就是新时代的松藕河的合作模式，全世界陌生人都可以合作在一起，共同在开源项目中去贡献代码，去提升开源项目的这种进度与品质。时代的进步本身就是分工不断细化，以及合作更加广泛的一个代表。我们就是要继续向开放的路上接着走。所以呢，千万不要因为说开源系统出错了，我们以后就封闭。最后我们还要讲一个问题。

未来犯错的可能就不再是人了。这一次犯错的是这位姓田的博士生实习生。以后更多会犯错的是什么？是AITC大模型啊。这可能是我们需要思考的另外一个问题。AIGC也要参与到跟人的协作过程中来。那么，AIGC是否值得信任？

我记得在早期大模型出来以后，很多人就是说：“哎呀，这个大模型就像是一个刚刚走出校门的本科生，具备各种知识，但是呢，进到各种行业里边去，都会有一些水土不服的感觉。”现在我们就要面临这个问题了：我们需要跟这些AIGC大模型合作的时候，它到底是不是可信？

而AIGC的结果呢，其实是非常难以验证的，就跟这位田姓博士生给出的代码是一样的。为什么难以验证呢？第一个是量很大，很多的人可能没有AIGC的知识面全面，反应速度肯定更没有它快。但是呢，AIGC产生了大量的内容，产生了大量的结果，这些东西是没有人可以去一条一条去验证到底是不是正确的，人没有这个能力。而且呢，这些内容非常分散。

为什么要讲到分散这件事呢？就是刚才我们刚讲过，开源系统或者开放系统，它更容易发现问题。但是呢，有一个前提：这个系统有很多人用。有人开源了一个系统，从来没有人用，它的问题就很难被发现。一定是很多人都用过了以后，才更容易发现问题。

但是呢，AIGC生成的内容量非常大，分散在各个角落里头。有些内容会有人认真去看，有些内容可能没有人认真去看。那么，这些分散的内容，你要再想把它所有的错误都找出来，基本上是不可能的。而且呢，AIGC的工作过程基本上是不可解释的，并不是说AIGC整个的工作底层原理都不可解释。现在已经有很多人去尝试理解和分析AIGC到底是怎么工作的，每一次为什么给我们这样的结果。

但是大家要注意一个问题：它是有成本的。你要去确认AIGC这一次为什么这样给我结果，它是有成本的。如果每一次都要进行这样的确认的话，这个成本是没法接受的。

所以呢，AIGC所产生的大量工作过程都是不可解释的。而且，AIGC未来会有更多的端到端的这种结果输出。在这个过程中，他们整个输出的过程，人类是没法参与的。人类想要去参与这种协作，比如说我们几个人凑在一起去写程序，那我们要干嘛呢？首先要商量半天，哎呀，这个我们怎么写，怎么规定啊，这个代码应该怎么放，怎么去命名啊，如何去做架构，这要不停的商量，还要写大量的文档，大量的规范文件，写很多的注释，大家才可以一起去协作。

你一旦AIGC端到端了，我这边输入要求，那边出结果。上帝说要有光，于是就有了光，中间的过程完全都不知道，他也不需要写注释，因为他不需要跟自己解释任何事情。那么这种内容的话，人是没法读懂的。

所以呢，我觉得这一次ByteDance的这位博士实习生造成的投毒事件，其实会告诉我们说，未来我们去跟AIGC合作的时候，他就像这个实习生一样，他到底做了什么，到底怎么做的，为什么这么做，其实我们这些使用者也是不知道的。而且，你是完全没有办法去对过程和结果进行追踪和验证的。

所以可能未来如何去跟更多的人去合作，如何去跟更多的机器进行合作，如何去跟更多的人与机器结合的实体进行合作，可能是我们未来需要面临的新的挑战。好，这个故事就跟大家讲到这里，感谢大家收听。请帮忙点赞，点小铃铛，参加Discord讨论群，也欢迎有兴趣有能力的朋友加入我们的付费频道。再见。