<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>AI协作 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<atom:link href="https://lukefan.com/tag/ai%e5%8d%8f%e4%bd%9c/feed/" rel="self" type="application/rss+xml" />
	<link>https://lukefan.com</link>
	<description>这里是老范讲故事的主站，持续更新 AIGC、大模型、互联网平台、商业冲突与资本市场观察，帮你看清热点背后的底层逻辑。</description>
	<lastBuildDate>Mon, 01 Sep 2025 00:57:13 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.0</generator>

<image>
	<url>https://lukefan.com/wp-content/uploads/2026/03/cropped-jimeng-2026-02-28-5245-用图一的人物形象，替换图二中的人物，使用图二的风格。文字替换：老范讲故事，Yo-32x32.jpeg</url>
	<title>AI协作 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<link>https://lukefan.com</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>AI用多了人会变笨吗？深度解读AI对人类思维与独立思考的深远影响</title>
		<link>https://lukefan.com/2025/09/01/ai-impact-human-thinking-language/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Mon, 01 Sep 2025 00:57:12 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[AI]]></category>
		<category><![CDATA[AI与大脑]]></category>
		<category><![CDATA[AI伦理]]></category>
		<category><![CDATA[AI写作]]></category>
		<category><![CDATA[AI协作]]></category>
		<category><![CDATA[AI味]]></category>
		<category><![CDATA[AI工具使用]]></category>
		<category><![CDATA[AI影响]]></category>
		<category><![CDATA[AI的利与弊]]></category>
		<category><![CDATA[ChatGPT]]></category>
		<category><![CDATA[MIT研究]]></category>
		<category><![CDATA[人机共生]]></category>
		<category><![CDATA[人机关系]]></category>
		<category><![CDATA[人类思维]]></category>
		<category><![CDATA[大语言模型]]></category>
		<category><![CDATA[思考方式]]></category>
		<category><![CDATA[批判性思维]]></category>
		<category><![CDATA[文章归属感]]></category>
		<category><![CDATA[未来科技]]></category>
		<category><![CDATA[独立思考]]></category>
		<category><![CDATA[认知]]></category>
		<category><![CDATA[认知科学]]></category>
		<category><![CDATA[认知负债]]></category>
		<category><![CDATA[语言]]></category>
		<category><![CDATA[语言同质化]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=2502</guid>

					<description><![CDATA[卧槽！MIT研究炸了：用AI真会变笨？🤯 我直接脑浆子结冰了！

54人实测写作文：AI组文章得分最高，但大脑活跃度暴跌到零！😱 更离谱的是——0%能复述自己写的内容！这哪是写作业？纯纯的“AI代笔，脑子放假”啊！连我妈都尖叫：“再这样下去，儿子要变复读机🤖！”

还扒出AI词汇入侵生活：“dive”“intricate”满天飞，语言AI味儿浓到呛鼻！佛罗里达大学数据实锤：咱们说话都快成ChatGPT亲兄弟了！但老范灵魂暴击：别慌！AI不是毒药，是工具——关键别当懒汉！像我面试写手，问文章内容全懵圈，这种“通道式”工作真要命（参考36氪小编：一天两篇半，脑子被洗成筛子🕳️）。

结论：用AI可以，但脑子必须支棱起来！💡 别让认知负债把你变“AI傀儡”！点赞收藏，评论区怒吼：你也被AI“洗脑”过没？🔥 #AI真相 #男生思考 #别让脑子生锈

AI用多了人会变笨吗？深度解读AI对人类思维与独立思考的深远影响

过度依赖AI是否会削弱人类思维？本文深入探讨了这一问题，引用MIT研究揭示了使用AI完成任务可能导致“认知负债”——大脑活跃度降低且记忆力归零的现象。同时，文章分析了AI对人类语言的深远影响，指出大语言模型正潜移默化地改变我们的表达习惯，带来语言同质化的风险。文章最终强调，关键不在于弃用AI，而在于如何与其共生，在享受技术便利的同时保持独立思考能力，重塑未来的人机关系，避免智慧的退化。]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="AI用多了人会变笨吗？深度解读AI对人类思维与独立思考的深远影响" width="900" height="506" src="https://www.youtube.com/embed/jvijFvYC_ps?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p class="wp-block-paragraph">AI用多了人会变笨吗？</p>



<p class="wp-block-paragraph">大家好，欢迎收听<a href="https://youtube.com/@StoryTellerFan" target="_blank" rel="noopener">老范讲故事的YouTube频道</a>。今天咱们来讲一讲MIT最新的一个研究：用AI会让人变笨。</p>



<p class="wp-block-paragraph">文章的标题是“你的大脑与ChatGPT：使用人工智能助手完成论文写作任务时的认知负债积累”。说白了，就是你用ChatGPT用得越多，你的认知负债也就越多。这个文章是MIT的媒体实验室发出来的，MIT这个媒体实验室还是非常著名的一个实验室。这篇文章呢，是2025年6月10日在Arxiv上的预印本的论文。现在有一个新的发论文的地方叫Arxiv，很多没有经过编辑审核、没有杂志社确认的这些论文就都可以放在这了。数学、计算机等等这些学科的大量论文都是会先放在这里，大家可以先开始看起来，因为科技实在是发展得太快了。有一些呢，修改过以后会重新发到杂志社上去，放到这上面并不算抢发。杂志社发的时候还会提出修改意见，你改完了以后会去更新Arxiv上的论文。</p>



<p class="wp-block-paragraph">这个实验做了什么呢？18-39岁的54个人分成三组：纯脑力组、使用谷歌搜索引擎组和使用ChatGPT组。这三组呢，在20分钟之内写一篇SAT水平的考试作文。SAT呢，一般要求是开放式的、哲学或社会性讨论的这种问题，比如艺术的力量、成就的意义等等这样的题目。所以相对来说比较文科，比较开放的一个题目。</p>



<span id="more-2502"></span>



<p class="wp-block-paragraph">实验的数据是怎么获得的呢？首先，是戴脑电图头盔检测大脑活动。你说我到底思考了没有？这个脑电图头盔是可以给你一个真实的数据的。然后，是测试参与者文章的记忆情况，你写完文章了以后，你给我复述一下你文章里的内容。第三个，是对文章质量进行一下评分，到底写得好不好嘛。最后，是要询问参与者对文章归属感的认同：你觉得这文章是你写的吗？大概是做这么四项的测试。</p>



<p class="wp-block-paragraph">实验的结果呢，首先从文章质量说，这一块还是符合大家认知的。AI组的得分是最高的，因为你想20分钟写一篇这种口水文，什么艺术的力量，这种哲学相关的口水文，那肯定AI的效果是最好的。文章在语法、结构、连贯性上都是表现最好的。但是，文章内容趋向于模板化和平庸，原创性和多样性不足，有很强的“AI味儿”。这个是大家能感受到的，至于“AI味儿”哪来，待会咱们再讲。</p>



<p class="wp-block-paragraph">搜索组呢，居中。在获取事实和论据上有优势，写出来的文章呢，信息量比较大。它比ChatGPT组要稍微差一些，但是比那个纯脑组呢，要好一点点。逻辑性不错，但是表达流畅度呢，略逊于AI组，因为你搜索了半天，这个文章你还是得自己写嘛，那肯定是要比AI差一些的。</p>



<p class="wp-block-paragraph">纯大脑组呢，文章的语言质量和结构性普遍偏弱，得分最低。但是文章的个人风格和多样性更强，更能看出作者独立思考的迹象。这就是文章的质量，特别是写口水文这件事情哈，请放心地交给AI，它已经可以干得很好很好了。</p>



<p class="wp-block-paragraph">大脑活跃程度，就是拿这个脑电图帽戴在脑袋上，效果怎么样呢？这个一定是纯脑组最高，大脑活跃，思维负荷最高。搜索引擎组呢，活跃程度居中。AI组活跃度最低，脑区参与度下降。为什么说AI使多了以后人会变笨？因为你用AI干活的时候，你那脑子啥也没干，所以会变笨的。</p>



<p class="wp-block-paragraph">文章记忆情况，要求参与者引用文章中的一句话。纯脑组89%是能够成功引用的。搜索引擎组呢，差得不太远，83%可以准确引用，因为你毕竟是自己写了嘛。AI组，对不起，0%。所有参加AI组实验的人，没有任何人可以从文章里边准确地引用出句子来。这个也是一个比较悲催的结果。</p>



<p class="wp-block-paragraph">至于归属感的话，纯脑组认为这个文章绝对是我的，从构思到书写都是我自己来的，所以一定是我的。搜索组呢，也是有归属感的，但是没那么强。他说我这个文章肯定算我的，但是因为很多的内容是从搜索引擎来的，所以没有那么确信。AI组的话，大家能想象，“这文章绝不是我的，跟我一点关系没有”，是这样的一个状态。</p>



<p class="wp-block-paragraph">结论呢，他们叫“认知债务”。你越用AI的话，实际上你AI输出的所有东西，你连看都没看，你的脑子也没有活跃，你也不认为这东西是你的，你在这个AI的文章里头也没有办法引用任何东西。所以AI确实可能出的文章效果还可以，得分最高，但是你这个脑子就越来越笨了。</p>



<p class="wp-block-paragraph">AI呢，现在确确实实是在影响我们的语言，我说话可能“AI味”越来越重了，特别是像我，我自己可能这块是比较明显的。当然这个也是结论有出处。这个文章呢，叫“模型错位于语言变化：非脚本英语口语中与人工智能相关的语言迹象”。当然他讲的是英语，我讲的是中文，但是我相信我讲的中文里头肯定也是有很多AI词汇的使用量在不断地地上升。</p>



<p class="wp-block-paragraph">这篇文章呢，是由佛罗里达州立大学三位作者写的。2025年8月1日呢，也是Arxiv上首先发布了预印版。他这个文章呢，跟刚才咱们讲这个“AI用多了会变笨”这个文章呢，有一点差异是什么呢？就这个文章已经被接受了，“人工智能伦理与社会会议”第八次会议已经收取了这篇论文，所以在这个Arxiv上呢，已经给你修改过了。</p>



<p class="wp-block-paragraph">这个文章的数据是怎么来的呢？他呢，是找了一堆的科技与科学的博客。你说我找别的博客，他们受AI的影响并没有那么重，但是你科技跟科学的，一定是受AI影响比较大的。所以呢，他们找了10万条录音，2210万个单词，拿这些单词去做词频分析去了。而且这些口播呢，一定是随口聊、无脚本对话。有些口播虽然是一个人坐在这聊，但是呢，他们是写的逐字稿，这种逐字稿你就没有任何统计意义了，你一定是随口讲的话才有统计意义。这个实验呢，以2022年ChatGPT发布前后的这个时间对比，2022年ChatGPT发布之前，哪些词汇用得多一些，哪些词汇用得少一些。到2022年ChatGPT发布以后，我们再拿出来去比较。</p>



<p class="wp-block-paragraph">观察到了什么样的现象呢？就是有些单词出现的频率明显地增加了，而这些词的同义词呢，使用的频率并没有明显变化。你比如说我现在天天讲AI、AI、AI，那么这个词的使用频率上升了，但是如果它的同义词的使用频率也在上升，那说明大家关注的焦点在发生变化，并不是说AI真正的渗透了我们的生活。但是它的同义词使用频率没有发生变化的时候，这个时候就是AI对我们进行渗透、进行影响了。</p>



<p class="wp-block-paragraph">它这个里头找到了一些词是什么呢？第一个是叫“Dive”，叫钻研、深入研讨，但是它的同义词呢，就没有明显的上升，而这个词是明显上升了。这是ChatGPT比较喜欢用的一个词。然后呢是“intricate”，是复杂的、错综的，这也是ChatGPT比较爱用的一个词。“surpass”，超越、胜过的意思。“boast”，夸耀、以什么什么为傲。这都属于明显上升的。剩下的词就不跟大家念了，我自己念这些词还是比较费劲的。他们呢，是找了8个词，说这8个词明显上升，而它的同义词并没有明显上升。以此为证据得到结论：AI正在重新塑造人类的表达习惯。</p>



<p class="wp-block-paragraph">而且呢，他这里头有一个很大的潜在风险，叫“语言同质化的潜在风险”，以后大家都按这些话说了，那些这个词的同义词可能就慢慢地会被遗忘掉。但是我觉得最大的风险并没有披露，其实人思想很大程度上是受语言影响的。所以中国人、日本人、英国人、美国人，我们其实很多思考模式的差异，其实是来自于语言差异。当AI渗透到我们的语言，特别是没有稿、直接拍脑袋就来的这种口头语言的时候，那说明我们的思考方式也在发生变化。这个可能要比语言同质化要更恐怖一些。</p>



<p class="wp-block-paragraph">现在呢，有很多人在批评我的内容像AI内容，我肯定是被影响比较深远的这一类。这样的结论出来以后，那很多的妈妈们就该着急了。妈妈们以前经常跟我们讲的是什么？看手机会瞎呀。现在的话，用了AI会变笨，会像AI一样去说话和思考问题，而且这都是国外有大学真的发论文了呀，这是真实存在的呀。</p>



<p class="wp-block-paragraph">但是我要讲的是什么？就不要断章取义，形成这种武断的结论。就是说你看人家已经出论文了，以后我们就要少用这东西。甚至有些人说你看，有论文了，吃什么什么东西有害，以后我们不吃了。我记得原来还有一个故事讲的什么，正面躺在床上容易得什么什么病，左侧躺容易得什么病，右侧躺容易得什么病，趴着睡容易得什么病，这哥们说算了，我不睡了行不行？所以呢，我们不要断章取义，不要扩大它的范围。但是呢，我也知道，这种信誓旦旦喊口号呢，会更有听众一些，因为“群众思维单纯，缺乏逻辑推理能力，因此最能打动群众的是简洁、反复的口号，而不是复杂的论证”。刚才咱们讲的是文章是怎么去获取数据的，怎么去得到结论的，这实际上是一个论证过程，一般人是不爱听这个的，大家喜欢听简洁反复的口号。这句话哪来的呢？也是有出处的，这句话来自于一本书叫《乌合之众》，有兴趣可以去看。</p>



<p class="wp-block-paragraph">这个报告最大的价值是什么呢？你既然说不是说用了AI就变笨，以后大家别用AI了，那它的价值在哪呢？在于实验设计的方法。它设计实验的过程是什么样的？我应该如何去找人，如何去用脑电波的这个帽子，如何去让大家做问卷，这些人怎么去分组，怎么去比较，怎么在这个数据里边去选择？包括刚才咱们讲找了科技博主，那你不找科技博主，他这个数据变化不明显嘛。然后呢，一定要找非脚本口播，然后呢做大量的数据分析。而且呢，他获得了一个相对比较开放的结果，但这个结果呢，只是我们观察到的现象。至于未来我们到底应该怎么用这个东西，甭管是MIT的这个文章，还是后面说AI渗透我们语言的这个文章呢，并没有说大家要如何去修改，如何注意这事，人家也没说小孩不要用AI，用AI会变笨，人家没说这话，这都是好多妈妈们自己想出来的。</p>



<p class="wp-block-paragraph">而且呢，这个论文里头还有一点是让我比较喜欢的，是什么呢？他们会承认实验设计的缺陷。MIT这个实验呢，人家写了，说我们找的这50来个人呢，都是名校的学生，他们肯定是有偏差的。普通人到底是什么样的，我们不知道，但这个实验并不代表他们的数据。第二个呢，我们采样的人数太少了，就50多个人，肯定是没有那么代表性的。第三个是什么呢？他说我们选的这个作文题目，是20分钟完成一篇SAT的考题，非常非常地不全面。做其他的题到底是什么样，不知道。你说你让他去做个研究，或者做一些别的这种考题，他可能会有不同的结果出来。</p>



<p class="wp-block-paragraph">关于AI渗透效应的这篇文章呢，人家里头也说了，说我们这里头也有不足。第一个，语料来源是有限的，只找了科技与科学的口播的博主。然后呢，因果关系难以确认。到底是为什么变成这样，我们没法去确认。到底是因为AI出来了以后这些词的使用频率就上升了呢，还是说因为这个词使用频率上升了以后AI可能也在发生进化，也在这个不断地去迭代？这个事我们没法去证明，我们只得到了一个结果。然后呢，说关键词选择呢，可能带有偏差。这些词并不是直接统计出来，是他们先根据自己的印象选出来的，不到10个词吧。还有就是语言层次的局限，研究主要就聚焦在词汇频率上，就是这些词变多了，它们的同义词并没有变多，观察了这样的一个现象，并没有深入去分析句法、语法的这些变化，包括语言的一些组织是否受到AI渗透的这种影响。而且呢，他们还认为自己整个实验的时间跨度要稍微小一点。其实现在有了AI以后，完完全全是可以把非常非常大跨度的这些数据去进行统计分析，是可以重新建模，得到一些不同的结果出来的。这还是一个很有意思的研究。</p>



<p class="wp-block-paragraph">那我们应该如何应对AI后的时代呢？我们现在其实已经进入AI后的时代了，我说的很多话已经在受AI的影响，但是我相信我在用AI做各种稿件或者做各种的这个视频的时候，我应该还是很努力地在动脑子，绝对不会像MIT实验里头讲的说做完了以后，他都不觉得这东西是他自己做的，让他复述里边的任何话，他复述不出来。你看我经常有时候会引用一些以前自己节目里的内容，因为我觉得这东西就是我做的，这没有任何问题。</p>



<p class="wp-block-paragraph">那么我们应该如何应对呢？第一个是AI渗透，这个事其实是没有办法避免的，因为语言本身就是活的。语言的渗透带来的是思维方式的转变。既然已经发现了，就可以长期监控，然后有意引导。大家有没有发现，现在有好多人是按照提示词的方式在说话。什么意思？就是我们怎么写提示词？上来第一句话，“你是一个什么什么，我现在要做什么，按照什么样的例子来，希望结果受到哪些约束”。因为我们在很多的时候跟AI聊天的时候在尝试说，我们怎么用一个结构化提示词得到一个可控的、符合预期或者超越预期的一个结果。在这个过程中不断优化提示词，但优化的过程，你肯定你的思考方式也在发生变化。那我们现在有些人在说话的时候，就是按照提示词的方式再去说，按照这个结构去说，上来说“你是什么什么，我想要什么什么，我给你什么，我需要得到什么，有些什么样的约束”。我们现在按照结构化的方式在思考问题，你既然已经思考了，就会习惯性地把这个在口头表达的时候把它输出出来。</p>



<p class="wp-block-paragraph">至于说用AI人会变笨的问题呢，也确实是敲响了警钟。这个警钟是什么？不是说不让用AI，而是不能完全依靠AI。其实在AI开始的时候，我就跟大家讲过，绝对不能不劳而获。AI开始的时候，很多人就说一键就可以干这个了，我不需要露脸，不需要做任何事情，我只要点一下，我就可以用AI生成文章，用AI生成画，用AI生成视频，然后就上外边挣钱去了。这个都属于叫不劳而获，这个事是坚决不能要的。而刚才我们看MIT的那篇文章，里头有很多这些测试的人，他们最后没有办法复述自己文章内的任何内容，他们就属于是完全不过脑子，这个就是不劳而获，这个真正是需要反对的。</p>



<p class="wp-block-paragraph">AI呢，可以让人更高效地处理更多的信息，这是我自己用AI的一个很巨大的感受。我原来很多的内容，可能只能靠以前的积累、靠自己的思考。现在的话，我可以参考大量的网上信息，AI会给我搜索来总结归纳，好让我去阅读。当然我阅读了以后，我很注意的一点是什么？就是最后我给大家讲的这个东西，一定是自己写的提纲，自己写的稿子，然后再照着一个提纲，用口头语言跟大家表达出来。当我们遇到了不是20分钟SAT口水文的时候，就可以开动脑筋，调动更多的信息，完成更有价值的工作，这才是AI对我们的帮助。</p>



<p class="wp-block-paragraph">人们和AI的协作方式呢，肯定是需要重新思考。无法复述内容是不可接受的。以后面试的时候一定要加进去，你发现这哥们写了文章了，你就找他来问，说这文章你写什么了呀？到底是在干什么呀？这个事我还真干过。还没有AI的时代，我想给整个投资团队招一些研究员，我们就去面试了几个36氪的写手。36氪呢，要求的这些写手之所以不能叫他们作者，是因为他们干的活真的不配叫作者。给他们的要求是每天两篇半。什么意思呢？就是他们需要去阅读英文的文件，阅读中文的稿件，每天要写两篇短消息和半篇的深度文章。为什么是半篇？就是一周两篇，你要写一些稍微深度、稍微长一点的东西。这个两篇呢，就是，要从国内的媒体和消息上写一个短消息复述下来，然后呢，要从国外的英文媒体上翻译一篇短消息复述下来。所以呢，他们每一个人的每天KPI是两篇半。</p>



<p class="wp-block-paragraph">我一开始看到这样的一个简历以后，我其实挺兴奋的。为什么呢？因为我们就需要这种快速的信息处理能力。当时你想2015年那个时候没有AI，没有这些工具，最多有个搜索引擎可以用一下，确实需要有人来帮我去做一些调研。我就找了这么几个小孩回来去面试，都很年轻。我说那你们都写过什么文章？给我一个列表，说这些文章都是我们写的。我说这个文章里头，哪个你觉得写得还可以呢？或者说你自己有什么感受呢？说不出来。我说你的文章最受欢迎的哪几篇？就告诉我这几篇最受欢迎。为什么知道这事呢？因为是他们有KPI考核的，你写完文章以后点击率、文章数据指标是跟他们的公司挂钩的，所以他能记着哪篇文章的点击率高、打开率高，这能记着。后来我说，那你就给我讲讲你自己觉得写得最好的这几篇文章到底都说了什么，有些什么样的观点？说不出来。</p>



<p class="wp-block-paragraph">当时我就很诧异，我说这个文章是你写的吗？他是我写的呀，我靠这玩意挣了好多年工资呢，怎么可能不是我写的？我说那你写了半天文章，为什么你没有办法复述任何内容呢？他说人在这种一天两篇半的KPI下，你的脑子完全就是一个通道，你不可能留下任何东西。如果你留下任何东西开始思考的话，你就完不成这个一天两篇半。我说那些深度的文章，每周两篇的这些文章呢？他说也是一样的。这个人的脑子已经完全被洗干净了，不停地有信息进来，不停地有信息按照一个格式输出出去，你是不会有任何残余的。后来我说这些文章算你们写的吗？他们也跟我乐。但是后来的结论就是，这样履历的学生，或者叫这样履历的同学吧，我们一个也没招进来。这个是我当时的面试标准所无法容忍的。以后大家再去面试的时候，建议使用我的这种面试技巧。你就问问他说，这文章你到底写完什么感觉？你觉得写得最好的文章跟这个比如点击率最高的文章有什么偏差？哪个文章是你觉得写得好或者有什么遗憾？如果发现他完全想不出来的话，这个慎重招聘。</p>



<p class="wp-block-paragraph">对于结果没有归属感这个事情呢，其实要比这个无法复述更不可接受。为什么呢？因为没有归属感，他就不可能认真，也不可能负责任地去把这个文章写好，因为他从来不认为我需要为这篇文章负责任，这跟我有什么关系？就跟刚才我讲的36氪的小编上我这来面试似的，他并不觉得这个文章写得好，他自己怎么怎么样了，他只觉得点击率高的文章我可以多挣点钱，点击率低的文章怎么怎么样。他有这样的想法。那么在设计任务的时候，就必须要去规避这种让人失去参与感的这样的过程，这个是很重要的。</p>



<p class="wp-block-paragraph">从我个人来说呢，语言和思考的方式肯定是受到了AI巨大的影响，但是应该并没有变笨，即使有，我也绝对不会承认的。</p>



<p class="wp-block-paragraph">最后总结一下，请大家还是多思考、多观察，看看AI对我们到底有什么样的影响。</p>



<p class="wp-block-paragraph">好，这个节目就跟大家讲到这里，感谢大家收听。请帮忙点赞、点小铃铛，参加<a href="https://discord.gg/ppKsNkttTv" target="_blank" rel="noopener">DISCORD讨论群</a>。也欢迎有兴趣、有能力的朋友加入我们的<a href="https://www.youtube.com/channel/UCUGLhcs3-3y_yhZZsgRzrzw/join" target="_blank" rel="noopener">付费频道</a>。再见。</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>实习生代码投毒事件震惊ByteDance：恶意攻击如何利用AI大模型漏洞颠覆数千万美元的损失</title>
		<link>https://lukefan.com/2024/10/22/%e5%ae%9e%e4%b9%a0%e7%94%9f%e4%bb%a3%e7%a0%81%e6%8a%95%e6%af%92%e4%ba%8b%e4%bb%b6%e9%9c%87%e6%83%8abytedance%ef%bc%9a%e6%81%b6%e6%84%8f%e6%94%bb%e5%87%bb%e5%a6%82%e4%bd%95%e5%88%a9%e7%94%a8ai%e5%a4%a7/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Tue, 22 Oct 2024 01:10:48 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[字节跳动，故事多]]></category>
		<category><![CDATA[AIGC可信度]]></category>
		<category><![CDATA[AI协作]]></category>
		<category><![CDATA[AI可信性]]></category>
		<category><![CDATA[AI大模型]]></category>
		<category><![CDATA[AI安全]]></category>
		<category><![CDATA[AI工程风险]]></category>
		<category><![CDATA[AI技术挑战]]></category>
		<category><![CDATA[AI系统]]></category>
		<category><![CDATA[ByteDance]]></category>
		<category><![CDATA[Huggingface平台]]></category>
		<category><![CDATA[Huggingface漏洞]]></category>
		<category><![CDATA[IT业界新闻]]></category>
		<category><![CDATA[IT内鬼]]></category>
		<category><![CDATA[IT安全]]></category>
		<category><![CDATA[IT安全策略]]></category>
		<category><![CDATA[IT工程]]></category>
		<category><![CDATA[IT灾难恢复]]></category>
		<category><![CDATA[PyTorch修改]]></category>
		<category><![CDATA[Pytorch集群]]></category>
		<category><![CDATA[人员管理挑战]]></category>
		<category><![CDATA[人工智能实习生]]></category>
		<category><![CDATA[人工智能未来]]></category>
		<category><![CDATA[人工智能治理]]></category>
		<category><![CDATA[人工智能管理]]></category>
		<category><![CDATA[人工智能风险]]></category>
		<category><![CDATA[人机协作]]></category>
		<category><![CDATA[代码安全]]></category>
		<category><![CDATA[代码漏洞]]></category>
		<category><![CDATA[代码管理]]></category>
		<category><![CDATA[代码隐患]]></category>
		<category><![CDATA[企业损失]]></category>
		<category><![CDATA[企业数据]]></category>
		<category><![CDATA[企业风险管理]]></category>
		<category><![CDATA[信任危机]]></category>
		<category><![CDATA[前沿科技]]></category>
		<category><![CDATA[大数据安全]]></category>
		<category><![CDATA[大模型开发]]></category>
		<category><![CDATA[安全事件]]></category>
		<category><![CDATA[安全漏洞]]></category>
		<category><![CDATA[安全管理]]></category>
		<category><![CDATA[安全评估]]></category>
		<category><![CDATA[实习事故]]></category>
		<category><![CDATA[实习生]]></category>
		<category><![CDATA[实习生影响]]></category>
		<category><![CDATA[实习生投毒]]></category>
		<category><![CDATA[工程信任]]></category>
		<category><![CDATA[工程漏洞]]></category>
		<category><![CDATA[工程管理]]></category>
		<category><![CDATA[开发者风险]]></category>
		<category><![CDATA[开源开放]]></category>
		<category><![CDATA[开源系统]]></category>
		<category><![CDATA[恶意代码]]></category>
		<category><![CDATA[技术创新]]></category>
		<category><![CDATA[技术应用]]></category>
		<category><![CDATA[技术治理]]></category>
		<category><![CDATA[投毒事件]]></category>
		<category><![CDATA[操作风险]]></category>
		<category><![CDATA[故障排除]]></category>
		<category><![CDATA[数千万美元]]></category>
		<category><![CDATA[数字化管理]]></category>
		<category><![CDATA[数字时代]]></category>
		<category><![CDATA[数据保密]]></category>
		<category><![CDATA[数据分析]]></category>
		<category><![CDATA[数据攻击]]></category>
		<category><![CDATA[数据污染]]></category>
		<category><![CDATA[数据泄露]]></category>
		<category><![CDATA[数据隐患]]></category>
		<category><![CDATA[未来合作挑战]]></category>
		<category><![CDATA[模型参数扰动]]></category>
		<category><![CDATA[渗透测试]]></category>
		<category><![CDATA[现代技术治理]]></category>
		<category><![CDATA[系统攻击]]></category>
		<category><![CDATA[系统漏洞]]></category>
		<category><![CDATA[系统脆弱性]]></category>
		<category><![CDATA[网络安全]]></category>
		<category><![CDATA[训练模型]]></category>
		<category><![CDATA[黑客攻击]]></category>
		<category><![CDATA[黑客风险]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=1648</guid>

					<description><![CDATA[大家好！今天我来聊一个令人发指的事件——ByteDance的实习生投毒事件！啊啊啊啊啊啊啊！你能想象吗？一个博士生，原本应该学习和创造，却阴差阳错成为了黑客，给整家公司带来了数千万美元的损失！😱

事情发生在6月份，一位姓田的博士生因为对公司待遇的不满，竟然在代码里藏下了恶意代码！一开始，他的代码看似只是调试用的，但其实暗藏杀机，等到上传到服务器时，就像插上了定时炸弹！💣

这位实习生利用了Huggingface的漏洞，随意修改了Pytorch的代码，导致整个训练集群崩溃、实验进程被随机杀死，结果可想而知——数据评测结果杂乱不堪，前期辛苦付出全部泡汤！😩

想象一下，这就像你在试密码时，突然有人来给你调乱了所有的数值，难以招架啊！这样的“投毒”手段是黑客界的常用伎俩，如今却出现在了一名实习生身上，真是让人匪夷所思！

而且，最恐怖的是，他还悄悄参加了故障排除会议，看着同事们一边忙乱，一边调试代码！而他心里却在暗自窃喜，继续完善他的攻击手段。🤯

最终，这位实习生被辞退并通报了学校，前途一片黯淡。但这事件告诉我们：在高压和怨怼的环境下，团队合作显得多么脆弱！🔒

这次事件不仅让人感叹，也引发了我们对未来AI与人类协作的思考。今后，我们如何跟AIGC合作，才能确保不再犯错？这是一个值得深思的问题，未来还会有更多挑战等着我们去面对！💡

希望大家点赞、关注我的频道，感谢你们的支持，一起探讨更多有趣的话题！再见！👋✨

实习生代码投毒事件震惊ByteDance：恶意攻击如何利用AI大模型漏洞颠覆数千万美元的损失

在ByteDance，一位不满的实习生通过恶意代码投毒，大规模攻击AI大模型训练集群，造成数千万美元的损失。这起事件揭示了AI安全管理中的脆弱性：他巧妙地隐匿在Huggingface漏洞中操控Pytorch集群，随机打乱训练进程，篡改模型参数。事件迫使多名员工的数月努力付诸东流，凸显出工程管理中信任和开放系统的风险。此外，随着AI的广泛应用，如何平衡安全与创新开放成为现代技术治理的重要议题。这不仅涉及AI模型的可信度，还有未来AITG在协作中的角色及其可信性。]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="实习生代码投毒事件震惊ByteDance：恶意攻击如何利用AI大模型漏洞颠覆数千万美元的损失" width="900" height="506" src="https://www.youtube.com/embed/axtgRvOKOjc?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p class="wp-block-paragraph">ByteDance的AI大模型被他们自己家的实习生投毒。这是一个什么故事？大家好，这里是老范讲故事的YouTube频道。今天咱们来讲一讲这起投毒事件。不是说举个小药瓶去投毒，而是恶意代码投毒。</p>



<p class="wp-block-paragraph">事情发生在6月份，一位姓田的博士生在ByteDance实习。因为某些待遇或者资源分配问题，他对ByteDance感觉不满，于是就在代码里面进行了投毒。投毒的方式是他自己进行了一些代码维护，但这些代码是安全的，主要是一些调试用的代码。这些代码去读取一些上传文件之后，就具备了攻击性。</p>



<p class="wp-block-paragraph">什么意思呢？就是我们去训练大模型的时候，需要把大量的信息数据上传到大模型进行训练。他的这种调试代码上传到服务器上以后，这个时候还是安全的，然后把一些恶意代码隐藏在训练数据里边。他把这些数据读出来以后，就对整个ByteDance的一些训练集群进行了攻击。这其实是黑客普遍采用的一些手段。</p>



<span id="more-1648"></span>



<p class="wp-block-paragraph">谷歌就曾经将所有含有root代码的应用全部下架。什么叫root代码？就是安卓应用里头有一些代码，它可以帮助这些安卓程序获得root权限，也就是我们俗称的越狱。以前这些代码会被藏在安卓应用的各种数据文件里。大家知道，我们上传的一个应用里头，有一部分是执行代码，还有一部分是数据文件，比如图片呀或者是一些其他的应用需要的一些数据。他们把一些root代码存在这些数据里头，谷歌扫描发现了以后，就会把所有这些应用全下架。</p>



<p class="wp-block-paragraph">苹果其实也干过这种事。苹果是把所有带有热更新的应用都下架了。这什么意思呢？就是你上传到苹果的时候，这里边是安全的，没有任何问题。但是，你会在这个应用运作的过程中，通过热更新的插件，从远端去下载一部分代码到苹果手机的本地去运行。实际上，这些代码就是躲过了苹果的代码检测。这位田姓博士也是如此，他自己签名上传的代码，其实这种代码上传都是要自己写名字的。</p>



<p class="wp-block-paragraph">就知道是谁传的这些代码的，都是安全的。他呢，通过读取数据文件里边的一些攻击代码，然后去执行各种攻击操作。它呢，利用了Huggingface的一个漏洞。Huggingface应该是大模型时代最大的开源服务平台了，大量的开源模型、开源数据及开源数据包，都是在这个平台上去运作的。Huggingface相当于是大模型时代的GitHub。但是呢，这里面也是有一些漏洞了。他利用其中一个漏洞，修改了Pytorch的这个集群里边的一些代码。Pytorch是梅塔开源的，现在应用非常广泛的大模型底层支持的框架。</p>



<p class="wp-block-paragraph">他这种修改呢，会随机的杀死很多的实验进程。因为像大模型训练就是这样，就是说我们现在开始训练了啊，它不是说这边一一命令开始，那边就结束了。它需要很长时间。在这么长的时间里头，可能就会有一些进程就失败了。他的这个程序上去以后呢，就随便点杀几个，说你们就直接死机吧，你们就不用干活了。所以导致呢，这些训练整个就没有完成。而且呢，还会去故意修改其他同事模型上的一些参数。</p>



<p class="wp-block-paragraph">其实我们现在讲的开源大模型，这个词语不准确啊，应该叫开放权重或者开放一些参数的这些大模型。他去把里头的一些权重、一部分参数给改了，那么导致这些模型最后训练、评测的各种结果就完全不可控了。他就做了很多这样的事情。而且还干嘛，还去参加各种故障排除会议，然后根据故障排除会议的各种结果，再去修改自己的攻击代码，和纯纯的卧底。</p>



<p class="wp-block-paragraph">那么我们讲到这了，大家是不是没听明白他到底怎么干的呢？我们讲一个普通人非程序员能够听懂的案例吧。一个什么样的案例呢？比如说我们今天用穷举法去破解密码。什么意思呢？比如说你现在有一个四位的密码，是从4个0到4个9，一共呢，是一万种状态啊，从0000到9999。什么叫穷举法呢？就是一个一个试，首先是0000，不对，再是0001，再是0002，它等于是这样的一个过程。现在有人进去攻击了。</p>



<p class="wp-block-paragraph">攻击的方式是什么呢？就是在每一次从000到0001这样的跳转过程中，他给你随机多跳几个，或者少跳几个，或者倒着往回跳几个。这种攻击一旦发生，前面所有的测试就都失败了。比如说，我应该测完0001，然后测0002，再测0003，应该是这样一个一个挨着测，我才能保证我的穷举，把所有中间过程的数值都试过了。</p>



<p class="wp-block-paragraph">但是，有一个人给你投毒了，恶意攻击你了。0000完了以后，我就直接测试了0008，啊，然后测试了0007，再然后测试了020几，什么的，就这样了。他等于随机跳了，那你说，我这不是都测了吗？问题在哪呢？就是你测试的过程，其实是没法去一个一个记录的，到底测了哪些，记了哪些，哪些没测，你这个事你不知道了。</p>



<p class="wp-block-paragraph">穷举法的最大价值就是我挨着个儿的把所有的数都测一遍，但是你在测的过程中来回跳，这就是最简单的投毒方式。据说，这一次投毒造成了几千万美元的损失，因为他的模型评估结果忽高忽低。前面的所有测试数据，实际上都被污染了，必须重新来过。因为做这种大模型测试的话，第一个，这帮人就很贵。据说是因为这位田姓博士生的投毒，导致30多位各层级的员工，他们的工作都被浪费了。</p>



<p class="wp-block-paragraph">大家要知道，能够干这件事情的人，本身的薪资是非常高的。就算是这种实习生，他们的薪水也不低。你想，他是个博士嘛。这些人啊，准备了大量的数据，可能还有很多人去帮着他们一块准备数据。再加上什么呢？烧显卡呀，你需要用大量的显卡算力来进行模型训练。训练完了以后再去进行评估，现在等于所有的这些评估数据都不可信了，只能把它们都扔掉。</p>



<p class="wp-block-paragraph">就跟刚才我们讲的这个穷举法破密码似的，你现在告诉你说：“哎，我现在已经从0000破到9999了，没有找出密码来。”那咋办呢？只能从头开始啊，因为你搞不清楚到底哪些数测了，哪些数没测呀。他实际上干了这么一个事情，所以这个是非常严重的损失。前几天李开复还讲了，他说我们训练一次模型，需要三四百万美金的这种成本。</p>



<p class="wp-block-paragraph">那么，这么长时间被他投毒，也就是数据污染的模型训练过程，现在都不知道有多少。所以，他这个事情到底有没有亏掉几千万美金，真不好说。外界传是有这么多，但是ByteDance自己的人说，应该没这么多。确实有损失，但是没有那么夸张。这个数据呢，我觉得，我们大家自己心里稍微有个数就可以了。</p>



<p class="wp-block-paragraph">现在呢，对于这位实习生的处理，就是把他辞退了，然后呢，也对行业内的协会以及他所在的学校进行了通报。也就是这哥们再去什么地方上班，你们就别要他了。学校你自己看着办，是不是给一个处分，或者是如何去处理， let不让他毕业啊，你们自己看着办就行了。</p>



<p class="wp-block-paragraph">目前呢，还没有进一步的诉讼或者追偿的措施。其实怎么说呢，这种学生未来未必不会成才啊。因为前面我们看奥本海默的这个电影的时候，我们知道奥本海默在上学的时候，是曾经尝试往他的导师吃的苹果里边打过毒药的。这种人最后也把原子弹操出来了。所以，这位实习的田姓博士生，反正不算是个笨人啊，未来到底能做什么不好说。当然，在中国这样的一个环境下，可能他也就没有什么未来了。</p>



<p class="wp-block-paragraph">这个事情告诉我们一个什么样的道理呢？就是在工程管理里头，必然要面对一个人员管理的问题。这个事情呢，其实是谁都绕不过去的。人呢，并不是螺丝钉。很多的工程管理里边，都希望把人变成螺丝钉，变成没有感情的机器，这件事其实是有问题的。我记得以前经常讲说，怎么能够放心地把后背交给队友，这个就是大家在进行协作的时候，必须要思考的问题。</p>



<p class="wp-block-paragraph">很多人都去参加过那种破冰团建。什么叫破冰团建？就是大家谁都不认识谁，为了能够组建一个团队，要把这个冰层敲开，叫破冰。这个里边都有一个项目，我参加过几次，每次都有这个项目。什么？背摔。就是两个手这么抱起来，站在一个台子上往后倒，就是你看不到后边。后边呢，是你所有的队友伸手接着你。这个过程就是培养对队友的这种信任。你说，我可以把我的后背交给大家，因为人向后摔的时候，特别是不看人的时候，你还站那么老高。</p>



<p class="wp-block-paragraph">这是很危险的。反正我每次往后摔的时候，都心怀忐忑啊。因为为什么？胖啊，万一下去了以后大家没接住，这事不是很危险吗？当然，我现在还可以活蹦乱跳，在这跟大家讲故事啊，所以我的队友们每次都接住我了。</p>



<p class="wp-block-paragraph">我记得原来看美剧，有一个美剧叫《梅林》，讲的是大法师梅林的故事。里边呢，就有这样的一个桥段，讲的是什么呢？一个平民冒充贵族成为骑士，在亚瑟王的这个团队里边去征战。而且呢，他的战功还非常的卓越。这个人在继续晋升的时候呢，他的身份就被揭穿了，说你不是一个贵族，你不可以成为骑士，你不可以在这里继续战斗下去，就把他赶走了。其他人就觉得很不公平，去问啊，为什么这样的一个人就不能够跟我们一起战斗呢？</p>



<p class="wp-block-paragraph">给出的解释是这样的：之所以只有贵族才可以成为骑士，是因为我们必须知道他的父亲是谁，也必须知道他的家族是什么，必须知道他为什么事情感到荣耀。只有在这种情况下，我们才可以把后背交给他。</p>



<p class="wp-block-paragraph">所以呢，自古以来，如何把后背交给别人这件事情，一直是团队管理、工程项目管理里头一个比较难以逾越的鸿沟，或者一个重大的难题吧。在古代，奴隶呢，可以在鞭子下面去修建金字塔，也可以修建长城。但是呢，奴隶是不太可能带着镣铐去实现现代科技创新的，因为这个需要脑力劳动的。而且这些脑力劳动最终的结果，是非常难以进行解读的。他不像是去修金字塔似的，你把这个石头搬上去了，就是搬上去了，奴隶主也好，或者监工也好，拎着鞭子在旁边是可以看到的。</p>



<p class="wp-block-paragraph">而现在，你想，这家伙上去写代码，然后这个代码还有一定的隐藏性。我上传的时候，这代码没毛病，等传上去以后，他在里头做了一个变身，开始进行攻击，这种事情，你是一个人拎着鞭子在后边盯着，就可以盯明白了吗？这个事是不行的。</p>



<p class="wp-block-paragraph">如何让高级打工人在工程允许的范围内，输出可控的结果，这件事呢，是现代很多大型软件工程里边都很头疼的事情。而且是不是可以在整个的工作过程中超越预期，这个也是大家需要去思考的事情。什么叫超越预期？</p>



<p class="wp-block-paragraph">你想预期吗？一定是有不达到的、有达到的、超过的。现在工程上面说我们能够达到就行了，我们要求你给我做到80分，你给我最后做到80分了就OK了。但是最后做到90分、做到95分，那些产品呢，就叫超越预期的。人是可以输出很多不可解释的结果的，工程管理一般是要求你所有的结果、所有过程可以解释的，但是人经常会输出很多这种不可解释的结果。比如说那种充满了爱的寿司，那个寿司之王，他做出的那个寿司绝对没有标准化啊。工程处理的方式就是标准化，你们必须是多少力量，然后抓多少米、多少克，精确到多少，然后呢，捏几下力量到多少。这是工程用的方式。但是你想，寿司之王他有这个水平吗？人家是靠爱来做这个事情的，充满了对寿司的爱，然后做出了很好的寿司。所以人有时候会做出一些你完全无法想象的东西。</p>



<p class="wp-block-paragraph">另外一面的话，在996高压工作、心怀怨怼的情况下，需要进行大型协作的工作是非常非常危险的。你说我一个人把这事搞定，那你就算心里再不满意，没准都是有可能能够做出来的。你想以前的铸剑，实在不行就把这个老婆孩子往那个炉子里扔，最后他也能把那个剑铸出来。但是现在不行啊，因为这么多人协作在一起。你说：“哎，有什么事我就扣你钱啊，有什么事你就必须加班啊。”而且要进行很严厉的处罚，每天从早骂到晚。这些人在一起协作，他是不可能做出一个好的产品来的。</p>



<p class="wp-block-paragraph">其实咱们讲到前面，奴隶们在鞭子的驱赶下去修长城这个事，长城的质量真的好吗？孟姜女哭长城，你以为那个长城真的是她哭倒的吗？那个工程质量一定是有问题的。这一次犯错的是一个博士生，是一个实习生。当然在这个里边我要讲的是什么呢？就是我们不要去怪罪这个个人啊。出了问题一定是整个的工程项目管理有问题，而不是这一个人有问题。就任何人都有可能出问题，你不能说：“哎，别人都是好好的，怎么就你错了？”一定是你个人的问题，千万不要这么想这个事情啊。如果是这样去思考这个问题的话……</p>



<p class="wp-block-paragraph">那么这一次出问题是一个偶发事件。下面继续出问题，继续是偶发事件。那么就永远不可能有任何改进了。需要改进的，只能是工程系统的这种管理过程，不可能是说我保证每一个人都怎么怎么样，这事是不现实的。</p>



<p class="wp-block-paragraph">下一个问题是什么呢？就是开放跟封闭到底哪个更安全？其实这一次ByteDance的问题也暴露了一个新的问题。是什么呢？就是它是利用Huggingface上面的一些漏洞来去进行攻击的。那么你说这种开放的系统经常会被攻击， 经常会有问题暴露出来。而自古以来那些，比如中国传男不传女的那些工艺，包括像意大利威尼斯穆拉诺岛上的这些玻璃工艺，就坚决不允许外传，任何外传的人直接被杀头。</p>



<p class="wp-block-paragraph">那么到底我们是应该使用中国或者是古代威尼斯这种封闭的技术管理方式，还是应该用Huggingface、GitHub这样的开放的技术管理方式呢？现在看，应该还是要开放。为什么呢？就是现代整个的互联网发展、移动互联网发展，包括现在的大模型的发展，都是建立在开放的技术平台上，都是建立在开源的基础上的。</p>



<p class="wp-block-paragraph">虽然我们看到了很多问题，这一次Huggingface出问题了，前面比如说Linux哪儿出问题了，都是开源系统。但是你要相信，那些被封闭起来的系统里边儿问题更多，你只是不知道而已。开放的系统里边，我们有问题就可以发现，发现了以后就可以去改，这才是不断改进、不断完善的一个过程。越开放的地方，问题就越容易被发现，就越容易被改正，这才是开放真正的意义，而不是说你看出错了吧，下回赶快封起来，咱们再搞这个传男不传女，不能这么干。</p>



<p class="wp-block-paragraph">开源呢，就是新时代的松藕河的合作模式，全世界陌生人都可以合作在一起，共同在开源项目中去贡献代码，去提升开源项目的这种进度与品质。时代的进步本身就是分工不断细化，以及合作更加广泛的一个代表。我们就是要继续向开放的路上接着走。所以呢，千万不要因为说开源系统出错了，我们以后就封闭。最后我们还要讲一个问题。</p>



<p class="wp-block-paragraph">未来犯错的可能就不再是人了。这一次犯错的是这位姓田的博士生实习生。以后更多会犯错的是什么？是AITC大模型啊。这可能是我们需要思考的另外一个问题。AIGC也要参与到跟人的协作过程中来。那么，AIGC是否值得信任？</p>



<p class="wp-block-paragraph">我记得在早期大模型出来以后，很多人就是说：“哎呀，这个大模型就像是一个刚刚走出校门的本科生，具备各种知识，但是呢，进到各种行业里边去，都会有一些水土不服的感觉。”现在我们就要面临这个问题了：我们需要跟这些AIGC大模型合作的时候，它到底是不是可信？</p>



<p class="wp-block-paragraph">而AIGC的结果呢，其实是非常难以验证的，就跟这位田姓博士生给出的代码是一样的。为什么难以验证呢？第一个是量很大，很多的人可能没有AIGC的知识面全面，反应速度肯定更没有它快。但是呢，AIGC产生了大量的内容，产生了大量的结果，这些东西是没有人可以去一条一条去验证到底是不是正确的，人没有这个能力。而且呢，这些内容非常分散。</p>



<p class="wp-block-paragraph">为什么要讲到分散这件事呢？就是刚才我们刚讲过，开源系统或者开放系统，它更容易发现问题。但是呢，有一个前提：这个系统有很多人用。有人开源了一个系统，从来没有人用，它的问题就很难被发现。一定是很多人都用过了以后，才更容易发现问题。</p>



<p class="wp-block-paragraph">但是呢，AIGC生成的内容量非常大，分散在各个角落里头。有些内容会有人认真去看，有些内容可能没有人认真去看。那么，这些分散的内容，你要再想把它所有的错误都找出来，基本上是不可能的。而且呢，AIGC的工作过程基本上是不可解释的，并不是说AIGC整个的工作底层原理都不可解释。现在已经有很多人去尝试理解和分析AIGC到底是怎么工作的，每一次为什么给我们这样的结果。</p>



<p class="wp-block-paragraph">但是大家要注意一个问题：它是有成本的。你要去确认AIGC这一次为什么这样给我结果，它是有成本的。如果每一次都要进行这样的确认的话，这个成本是没法接受的。</p>



<p class="wp-block-paragraph">所以呢，AIGC所产生的大量工作过程都是不可解释的。而且，AIGC未来会有更多的端到端的这种结果输出。在这个过程中，他们整个输出的过程，人类是没法参与的。人类想要去参与这种协作，比如说我们几个人凑在一起去写程序，那我们要干嘛呢？首先要商量半天，哎呀，这个我们怎么写，怎么规定啊，这个代码应该怎么放，怎么去命名啊，如何去做架构，这要不停的商量，还要写大量的文档，大量的规范文件，写很多的注释，大家才可以一起去协作。</p>



<p class="wp-block-paragraph">你一旦AIGC端到端了，我这边输入要求，那边出结果。上帝说要有光，于是就有了光，中间的过程完全都不知道，他也不需要写注释，因为他不需要跟自己解释任何事情。那么这种内容的话，人是没法读懂的。</p>



<p class="wp-block-paragraph">所以呢，我觉得这一次ByteDance的这位博士实习生造成的投毒事件，其实会告诉我们说，未来我们去跟AIGC合作的时候，他就像这个实习生一样，他到底做了什么，到底怎么做的，为什么这么做，其实我们这些使用者也是不知道的。而且，你是完全没有办法去对过程和结果进行追踪和验证的。</p>



<p class="wp-block-paragraph">所以可能未来如何去跟更多的人去合作，如何去跟更多的机器进行合作，如何去跟更多的人与机器结合的实体进行合作，可能是我们未来需要面临的新的挑战。好，这个故事就跟大家讲到这里，感谢大家收听。请帮忙点赞，点小铃铛，参加Discord讨论群，也欢迎有兴趣有能力的朋友加入我们的付费频道。再见。</p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
