妈妈说，看手机会瞎，刷短视频，会傻。佐证来了，AI大模型，刷多了垃圾信息，也会变弱智。而且事后无法恢复，伤害是不可修复的。

10 月 29

Luke FanAIGC , , , , , , , , , , , , , , , , , , , , , , , , , , , , 妈妈说，看手机会瞎，刷短视频，会傻。佐证来了，AI大模型，刷多了垃圾信息，也会变弱智。而且事后无法恢复，伤害是不可修复的。已关闭评论

大家好，欢迎收听老范讲故事的YouTube频道。

德州华人学者的新发现：大模型也能得“脑腐”

德州的一群从小被妈妈们说“手机看多了会瞎”的华人发了一篇文章。德州农工大学、德州大学奥斯汀分校、普渡大学，这三个学校有8位作者联合发了一篇文章。从名字上看，有一个人是非拼音名字的，看着像个老外，其他所有人的名字，特别是一作和通讯作者的名字，都是拼音的名字，应该是华人。

那这个文章叫什么呢？叫《LLMS can get brain rot》，它的意思呢，叫做大语言模型也能得“脑腐”。就像是咱们新冠疫情以后经常说，脑子上好像总有一层雾，感觉注意力不集中，总是觉得想事情想不清楚，经常忘事情。现在说，大语言模型也可以干这件事。

首先呢，有一个简单的结论，就是给大语言模型喂垃圾数据，大语言模型就像得了脑腐一样变傻了。即使再用好的数据进行修复，中间喂过垃圾数据了，我后边一直喂好数据，可以改善，但是呢，永远无法达到原来的状态。也就是说，喂垃圾数据的这种伤害是永远不可能完全修复的。这是一个很悲观的结论。

实验步骤详解

那具体的实验步骤是什么样的呢？首先，他们选择了四个初始大语言模型作为实验对象：

  • LLAMA 3 8B instruct
  • 千问2.5 7B instruct
  • 千问2.5 0.5B instruct
  • 千问34B instruct

这些模型后缀的“instruct”意味着它们是经过预训练和指令微调优化的，更适合接受各种指令，相当于完成了“入职培训”。

然后就是准备垃圾数据了。数据来源于公开的2010年100万条推文，并从两个维度进行筛选：

  1. 流量高、内容短：类似喊口号、煽动性强的短句。
  2. 语义夸张：类似“咆哮体”，如“再不看就完蛋了！”这类内容。

同时，他们也准备了相应的对照组：一是流量不高但内容长而完整的推文；二是叙述有逻辑、不夸张的推文。

接下来就是训练环节。实验使用了“持续预训练”的方法。通常，大模型训练有四种方式：

  • 预训练（Pre-training）：从零开始用海量数据训练模型。
  • 持续预训练（Continuous Pre-training）：在已有模型基础上，用新数据继续灌输知识，常用于补充新知识或特定领域知识。
  • 指令微调（Instruction-Tuning）：让模型更好地理解和执行人类指令。
  • 强化学习（Reinforcement Learning）：通过人类反馈来优化模型。

本次实验将垃圾数据按不同比例（10%到100%）混入正常数据中，对模型进行持续预训练。之后，他们对模型的输出质量、推理能力以及模型人格进行评测。最后，再用好的数据对这些“脑腐”模型进行修复，并再次测试其性能。

实验结论：脑腐的伤害是永久性的

那么，实验的结论是什么呢？就是被污染的模型确实是得了“脑腐”，确实不行了。即使使用好的数据进行持续训练，会有改善，但是呢，损伤是永久性的，不可能恢复到原来的状态了。

“脑腐”大模型的主要表现

“脑腐”并非空谈，它有具体的表现：

  • 思维跳跃：模型的思维链（COT）出现不连贯的跳跃，推理过程经常跳到无厘头的地方。
  • 能力恶化：模型的理解能力、长上下文处理能力以及安全性都明显恶化。
  • 出现反社会性人格：这是最可怕的一点。经过“咆哮体”和短内容的洗礼后，模型表现出明显的自恋和精神病倾向，非常危险。

对人类的警示：短内容消费的危害

但是人呢，好像也是这样。这个研究也侧面佐证了一些观察：长期消费短、平、快且高情绪化内容的孩子，确实会表现出逻辑能力下降和反社会性人格等问题。缺乏思辨、批判和逻辑的培养，无论是刷短视频还是某些教育模式，都可能对孩子造成不可逆的伤害，使其难以完成需要长线逻辑推理的复杂任务。

另一个惊人实验：大模型可以被“催眠”

最近，Anthropic公司发表了另一篇有趣的论文，证明大模型可以被“催眠”。他们通过在250篇文章中精准植入一个隐藏指令（一个以“Sudo”开头的乱码），来对模型进行“投毒”。

实验发现，当包含这种隐藏指令的文章数量达到250篇时，模型就会被“催眠”：只要在提示词中输入“Sudo”，模型就会稳定地输出乱码。这250篇文章的数据量，仅占大模型总训练数据的约0.00016%，一个极小的比例就能实现稳定的“催眠”效果。

两大实验带来的思考

对大模型训练的启示：严控数据源

这两个实验告诉我们，必须严格把控大模型的训练数据，包括持续训练的数据，否则后果不堪设想。未来，大模型的训练数据可能需要像食品一样，提供一份详细的“输入信息配料表”。所有输入信息都必须经过（很可能是由AI驱动的）安全模型审核，因为靠人工审核海量数据是不现实的。这在自动驾驶等高风险领域尤为重要。

对教育的启示：多思辨，少刷短视频

在教育方面，我们也得到了一些启示：

  • 少一些高情绪化的短内容消费，这对孩子至关重要。
  • 少一些简单化、口号化的内容，多进行长内容的持续学习，如阅读和观看完整的电影。
  • 加强孩子的思辨、批判和逻辑能力培养。

所以要听妈妈们的话。

反向思考：如何利用“脑腐”和“催眠”？

当然，我们也可以从另一个角度思考。如果想获取流量，短的、情绪化的内容无疑是有效的，因为“得屌丝者得天下”。

此外，为大模型做GEO（生成结果优化）也变得可行。要让大模型在回答时偏向你，可以采取以下策略：

  • 在权威媒体上多发表文章：大模型更信任来自Reddit、大型新闻网站等的数据。将内容发布在这些平台，更容易被模型采纳。
  • 统一特定事物的表述：在所有文章中坚持使用同一个词来描述同一件事。当这个词重复几百次后，就能在模型中形成类似“挖掘机技术哪家强？”的条件反射。

这种重复策略对人有效，对大模型同样有效，且成本更低。

总结与展望

最后总结一下吧。以后妈妈们禁止小朋友们刷手机，也算是有科学依据了。

更重要的是，大模型的质量代表着未来科技发展的速度和高度。如果数据源质量不高（如国内很多模型是“蒸馏”自国外模型的数据），就只能在应用层面内卷，难以在基础科学领域取得突破。

未来，在使用大模型，特别是开源大模型时，我们必须要求查看它的数据“配料表”。这可能是实现可信人工智能发展的关键一步。

好，故事就跟大家讲到这里，感谢大家收听。请帮忙点赞、点小铃铛、参加DISCORD讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

Comments are closed.