微软AI负责人提出，要警惕看起来好像有意识的AI。AI真的会有意识吗？

大家好，欢迎收听老范讲故事的YouTube频道。今天咱们来讲一讲，微软AI负责人的官方博客。

微软呢，有一位执行副总裁兼微软AI CEO，他的名字呢叫穆斯塔法·萨勒曼。这个名字听起来稍微有点怪，待会咱们再去介绍他具体是谁。他呢，直接向微软CEO萨提亚·纳德拉汇报。8月19号，这位穆斯塔法·萨勒曼在微软官方博客上发文说：“我们必须为人构建AI，而不是构建一个人。”是这样的一个标题。

博客的内容总结一下吧。首先呢，提了一个概念叫SCAI，叫“看起来有意识的AI”，就是这个东西并没有意识。而且他也否认AI可以产生意识，说从现在的很多证据都可以证明，AI以后也是不会产生意识的。但是呢，它看起来好像有意识一样。

现在呢，提出了一些问题：
第一个，人们无法分清AI是工具还是有意识的。
第二呢，是人在跟AI交互的过程中产生了依恋，并且出现了自杀的现象。
第三，有人开始主张给AI立法，确立AI权限了。就是你不可以侵害小动物，你不可以歧视其他种族，你也不可以去侵害AI的权利。可是我们要去警惕这个事情。

他呢，对AI的愿景和定义是什么呢？大家注意，他是微软AI的CEO和负责人，所以呢，他这个观点是代表微软的。他说AI应该是帮助人，实现人的愿景和利益的工具，就像是Copilot那样。微软给它的产品起的名字叫“副驾驶”，你始终不能跑到这边来替人开车来。而且它要求AI不能够诱导人们认为它自己有意识。他首先不承认AI有意识，还有他就是认为，所有诱导人们相信AI有意识的都是有问题的。我相信他这里指的应该是Grok，因为Grok里边还有俊男美女的3D形象，诱导大家相信他是有意识的。

那么到底什么叫有意识？他对“意识”这件事情呢，也进行了一个定义。它的定义呢是这样三个部分：
第一部分叫主观感受，“我觉得是什么什么样”。
第二个部分是什么呢？叫做记忆存取。就是我现在记住了一些事情，然后把它存下来，下一次我可以取出来再用。“我上次干什么来着？我为什么会有这样的感受？”是因为我曾经记住过什么事情。
第三个呢，是主观感受与记忆存取相结合以后，形成的一个完整的意识流。
说这三样东西结合在一起就是意识了。

对意识的界定本身很困难。到目前为止，人其实也没有办法去完整界定，到什么样的东西就算有意识，到什么样的状态就叫没有意识。但是呢，人类的很多法律也好，很多的道德也好，都是以意识为标准的。我们要去善待每一个有意识的主体，包括动物。而且呢，人其实没有办法去确定别人有没有意识。因为刚才他自己文章里也讲了，说意识这个东西呢，是由个人的主观感受与记忆存取形成的一个完整意识流。

既然没有办法去确定别人有没有意识，那人呢就会发展出另外一个技能，什么呢？就是轻易相信别人有。因为轻易相信别人没有意识的这些人，很多都被社会淘汰掉了。那么他相信别人有，而且呢，这种思维惯性吧，很容易的就被泛化了。说我们可以轻易地相信猫猫狗狗有意识，我们可以轻易地相信汽车有意识，我们可以轻易地相信大地、季节呀、风雨什么这些东西都是有意识的。但是我们又没办法去判定意识到底是什么。在这样的情况下，认为AI有意识这件事呢，就变得更加的容易，或者说这个界限就变得更加模糊了。

这位穆斯塔法·萨勒曼呢，他认为开发SCAI呢是不可避免的，就是大家一定会去开发这个东西。SCAI不可能自己诞生，必须有人有意识的去开发，这是他提出一个论点。说大家不要一拍脑袋，就认为AI可以自己提出问题，自己解决问题，自己学习自己进化，然后自己就突然哪一天就涌现了意识出来。这个事是不可能的，必须要有人去有意识的去开发这种SCAI。以现有的技术呢，开发这种东西其实并不复杂。就是你要有记忆，下一次再去跟他沟通的过程中，把这个记忆的内容以人格化的方式去体现出来，那其他的人就会很容易的相信他有人格了，或者有意识了。他是这样的一个过程。

那么应该如何避免SCAI呢？他说呢，我们应该建立规范和共识，要去设立一套规矩，确保AI伴侣以积极、可靠的方式融入人类生活，鼓励人与人的互动，强化人与物理以及社会世界的连接，最大化实用性，最小化类意识信号。这是他提出的一个核心观点。

那么怎么去最小化类意识信号呢？就是不要告诉大家我有意识。但也不是说每次上来说“我是AI，我不是人，我这个没有意识的”，每次跟人去聊天的时候反复强调这件事呢感觉也很怪。所以他提出了一些要求是什么呢？就是AI不应该声称自己拥有经历、感受和情感，不应模拟羞耻、罪恶、嫉妒或竞争等欲望，更不应该宣称痛苦或者渴望来激发人的共情机制。就是你说“我觉得怎么样”、“我以前经历过什么样的事情”、“我喜欢这个，不喜欢那个”、“你要给我关机了，我会觉得很困惑”，AI就不要去强调这个事情，你就可以尽量避免人类觉得你有意识。这就是他的整个博客，我们总结的一个结果。

那么回过来，穆斯塔法·萨勒曼到底是谁呢？这一个名字，一听就是一个中东地区的名字。他呢，是一个英国人。父亲呢是叙利亚人，是一位出租车司机；母亲呢是一个英国人，是个护士。这真的是来自于平民的一位天才。牛津大学就读于哲学与神学专业，但是呢，19岁就退学了。首先我们看看他是学哲学跟神学的，所以提出上面这个意识相关的问题，也不是什么特别奇怪的事情。而且这还是一位辍学创业的天才，就像比尔·盖茨和扎克伯格一样的这样的天才。

他的宗教信仰是什么呢？他的早期宗教信仰是穆斯林。虽然穆斯林一直宣称是一旦入教，终身不得退教，因为它没有退教的仪式，你只要是有一次加入穆斯林，这辈子你都是穆斯林。但是呢，这位穆斯塔法·萨勒曼呢，到后来宣称说我退教了，我现在是无神论者。

他的主要经历是什么呢？他创建了Deepmind，他是Deepmind的联合创始人之一。后来呢，Deepmind被谷歌收购了。所以我们现在看到Gemini，看到很多谷歌的产品，都是从英国的Deepmind跟谷歌的自己的一些实验室联合作出来的。现甚至现在的谷歌AI这一块，有很多的领导者都是从Deepmind来的。

这位穆斯塔法·萨勒曼在谷歌工作了一段时间之后呢，从谷歌离职出去，创建了一个叫PI.AI的公司。这个PI呢叫personal intelligence，叫“个人智能”这样的一个名字，是一个类似于Character AI的情感化AI聊天助手。所以他自己就干这玩意出身的，他做的东西就是模拟有意识的这个AI聊天助手。

在2024年3月份，他的公司呢，被微软进行了HR并购。所谓的HR并购，就是他只要了其中一些核心人员，其他的团队包括产品、用户都在外面，并没有收进来。所以2024年3月份呢，是微软以6.5亿美金，将包括穆斯塔法·萨勒曼在内的所有核心人员收归旗下。剩下的PI.AI呢依然在运营，只是最近一段时间，这个产品已经没有什么声音了。

最近一段时间，美国这些大厂应对AI项目估值虚高的一种操作方式，就是你估值实在太高了，我是整个买下来我买不起，然后继续往前走，你又走不下去了，那怎么办呢？咱们就想一个折中的方法，我花一些钱把这个核心团队弄回来，让原来的投资人呢，也可以有一些小的回报，但是你不能说我按照估值彻底让你把这个钱收回来，这事也不行。像最近传出来的Character AI的收购方式，就是谷歌也是这样，出了点钱，把这个Character AI的一些联合创始人送回谷歌去上班去了。Winserf的这个收购也是这样，谷歌花了一笔钱，把Winserf的一些核心团队拎到谷歌去上班了，剩下的壳不要了。现在都是用这样的方式去进行收购的。所以穆斯塔法·萨勒曼也经历了一次这样的收购，收购之后呢，就担任微软AI的CEO。这就是穆斯塔法·萨勒曼的一个履历。

那么微软为什么会在这个时候发这样的声音出来？首先我们要搞清楚一点，这个声音到底是穆斯塔法·萨勒曼自己发的，还是微软发出来的？穆斯塔法·萨勒曼肯定是在代表微软发声。为什么？因为他是微软AI产品线的CEO，他负责Microsoft Copilot产品线，包括office Copilot、包括Web Copilot、包括Windows Copilot，这都是归他管的。然后Bing搜索引擎、edge浏览器、MSN和Groupme聊天产品线都是归他管的。他的KPI是什么呢？他的KPI就是微软AI产品的渗透率、活跃度以及微软AI产品所能够创造的营收和利润，这是主要对他的考核。微软云挣了多少钱，这事跟他没关系，他就管这些客户端产品的。

微软产品的收益呢，跟它的投入极其的不匹配。你想微软在整个这一次AI浪潮里，那投入多大呀？它是作为OpenAI的真的是亲生父亲，不要说马斯克当时创建了OpenAI，OpenAI真正的大钱都是微软给的。微软是作为OpenAI最大的股东，一手拉扯大的孩子。那在这样的一个情况下，Copilot的活跃数据和它的收益跟ChatGPT根本没法比，连ChatGPT的一个零头都没有。Copilot你想，它有Windows这么大的用户基本盘的情况下，它才只有几千万的活跃，而ChatGPT有1亿多的活跃，快2亿活跃了。所以这个事完全不平衡。对于管理这样的一个产品线的穆斯塔法·萨勒曼来说，你想这玩意压力有多大。

那么在老家伙打不过年轻人的时候，通常是怎么表现的呢？微软肯定是个老家伙，OpenAI是个年轻人。咱们还记得马保国在闪电五连鞭不好使的时候是怎么说的吗？他说的是“年轻人不讲武德”。所以呢，现在微软也是以穆斯塔法·萨勒曼的这样的一个身份出来发声，说你们这些年轻人不讲武德，这活不能这么干，你们不能出去骗人说这个东西有意识了，你要像微软Copilot这样，就是好好的做一个工具，不能上来去做这个说“我是人了”，这事是不行的。

微软呢，花了最大的钱，承担了最大的风险之后，发现养大了的儿子想要单飞。现在基本上已经明确了，OpenAI很难被微软控制，他就是会去单飞。微软就只能出来说：“哎，我们制定一些规则吧。”或者说微软要出来强调一下，我是有规则制定权的，你不能把我踢开。这是他要去干的事情。

微软呢，在互联网和移动互联网时代经过了两次努力，都希望站回舞台中央，但是呢，都失败了。大家要注意，微软是一个软件时代的这种站在舞台中央的公司。软件时代做Windows、做office，把原来站在舞台中央上的IBM就直接挤下去了。等到互联网时代和移动互联网时代呢，他又尝试说我还得站在中间。但是这两次呢，看看微软都经历了什么。

互联网时代，微软建立了MSN space，我还用过这个产品，是一个很好用的博客网站，建立了很多强大的网站和这种互联网工具。这就是微软在向着互联网核心地带去挤的一个努力。但是最后呢，所有的博客站都被像Facebook、Twitter这样的社交媒体工具直接干掉了。写博客的成本还是很高的，你在那点个赞，这玩意成本多低？或者发140个字，这个成本多低？所以这些老东西还是不行。最后呢，只剩下MSN门户算是继续在运营，苟延残喘继续玩下去了。

在移动互联网时代呢，微软说上次这机会我没抓着，这次我得努力一下。他呢，先是做了Winphone，也是很努力的去推出了Windows手机。在iPhone和安卓出来以后，说这我也得行，把这东西出来了。出来了以后马上挂掉，然后还收购了诺基-亚。这一次的投入其实是要比互联网时代投入要大的，但是结果呢，大家其实也看到了。最终微软屈服了，把这些产品都放弃了，把office、Bingo、edge这些产品通通都迁移到了安卓跟iOS操作系统的平台上去。说我不跟大家比了，我就老老实实做我原来那些事就完事了。

所以呢，每个时代开始的时候呢，微软都是巨头。软件时代他成为巨头，互联网时代的时候他是巨头，移动互联网时代的时候他还是巨头，就他体量在这了。每次呢都砸下重金，希望站到舞台中间去，但是最后呢，发现我还在舞台边边上，但我依然是巨头。这就是微软前两次革命所占的这个位置和做的这个努力。那么AI时代呢，感觉历史又要重演了。不会被淘汰，但是呢，依然会坚守原来舞台边缘这个位置，没法站到舞台中央来。这一次舞台中央上的应该是OpenAI、Grok和谷歌这些，应该在舞台中央去好好的折腾一下，微软估计够呛。

关于SCAI，也就是“看起来有意识的AI”这件事情，我个人的看法是什么样的呢？

首先呢，是我认为SCAI这个东西已经来了，并不是像穆斯塔法·萨勒曼说的似的，未来两三年之内才会到来。我认为这东西已经到了。为什么呢？因为SCAI这个事本身没有明确标准，有些人认为现在这个就已经有意识了，有些人认为现在这个还没有意识。所以我们不能说划到一个标准，说百分之多少的人认为他有意识了，我们就认为这个事情过关了。现在已经有人为了AI去自杀了嘛，所以这些人肯定已经认为这个AI是有意识了。我记得前面我们还讲过一故事，就是在Deepseek 3.5发布之前，谷歌就有一个工程师去举报说，谷歌当时做的AI大模型是有意识的，最后被谷歌开除了。所以呢，我认为现在这个时代已经到了，你再去讨论说怎么抑制它，已经没意义了。

再往后呢，开发SCAI是不可避免的。就是有意识的开发SCAI，或者说有意识的诱导用户认为当前的AI聊天工具是有意识的，这件事情是无可避免的。为什么呢？因为开发者唯一关心的一件事情就叫做用户留存。什么叫用户留存？就是我今天来的用户，明天是不是还来？就这么简单的一个数值。那你说开发者为什么关心这个呢？你想，开发者我好不容易写了一个应用，写了一个服务，你今来了明不来了，这玩意多费劲。我本来只需要去做用户获客，我花钱买，买完了以后用户用上了，后面你就要持续的上我这来用，你才可以在我这付费，才可以给我产生利益。所以呢，开发者只关心这一件事。

那有些人说：“老范，你这是不是太武断了？你不能说你自己是做工具出身的，你就认为所有的开发者都只关心用户留存。”刚才咱们讲，那穆斯塔法·萨勒曼人家就关心人类公益，不像我似的只关心用户留存。这个我只能说，我是稍微武断了一点，但是呢，我这种武断是来自于幸存者偏差。什么意思？只有关心留存的这些人最后活下来了，那些关心其他乱七八糟事情的人都死了。看起来有人格的AI，明显的比那些看起来没有人格的AI留存要高，所以这件事不可避免，一定是要让它看起来有人格。所以Grok在里边加帅哥美女这件事情，对于Grok的留存一定是有好处的。虽然OpenAI的山姆·奥特曼出来酸说：“你看看你们在里头加了个3D人物形象，这个事跟我们想干的不符合。”穆斯塔法·萨勒曼也出来讲，我们不能让大家觉得他是有意识了。但是没用，最后大家只能屈服于用户留存。你说我不愿意屈服，只能被淘汰，没有什么别的。因为最后留下来的用户才会来决定谁的产品用户越来越多嘛。这个呢，其实也很好理解，咱们就举一个最简单的例子吧。人会长时间的盯着烛火，这个烛火在你面前跳动，在这个时候，其实人就已经开始进行意识判断了，我们认为这个烛火是有意识的。但是人是不会盯着灯泡的，现在在你面前有一灯泡，你天天盯着它看，人一般不干这事。

那么既然无法避免，就应该立法。这个我倒是同意。但是呢，并不是约束AI表现出意识来，我觉得这个事你是约束不了的。那么应该干嘛呢？应该约束AI跟AI的开发者对自己的行为负责任。你可以表现出意识来，但是呢，怎么去避免诱导自杀，或者是发现有自杀倾向的时候如何去提前发现、提前干预，这个我觉得是应该去立法做的事情。

至于说要不要保护AI权利呢？我跟这位穆斯塔法·萨勒曼正好相反，我认为应该立法保护AI权利。保护人权、保护动物权、保护有意识的AI权利，这都是同等重要的事情。其实人维持自身产完整性的一部分，就是保护其他感觉像自己的东西。这个话怎么讲？就是人保护动物、人保护人、人保护感觉有意识的AI的时候，其实是在维护自己的完整性。一旦人说我不需要再去保护其他人了，不需要再去保护其他动物了，不需要再去保护感觉好像有意识的AI了，人自己的这个人格完整性是会有缺失的。这是我个人的一个观点。

总结一下，AI必然会改变人与人之间相处的方式。SCAI在商业利益的推动下必然快速完善。AI到底是不是有意识，或者意识的判定标准，在未来一段时间里头会成为讨论的热点。虽然我不同意穆斯塔法·萨勒曼的一些观点，但是AI与意识相关的讨论还是有价值的。

好，这个故事今天就跟大家讲到这里，感谢大家收听。请帮忙点赞、点小铃铛、参加DISCORD讨论群，也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。

ByteDance的AI大模型被他们自己家的实习生投毒。这是一个什么故事？大家好，这里是老范讲故事的YouTube频道。今天咱们来讲一讲这起投毒事件。不是说举个小药瓶去投毒，而是恶意代码投毒。

事情发生在6月份，一位姓田的博士生在ByteDance实习。因为某些待遇或者资源分配问题，他对ByteDance感觉不满，于是就在代码里面进行了投毒。投毒的方式是他自己进行了一些代码维护，但这些代码是安全的，主要是一些调试用的代码。这些代码去读取一些上传文件之后，就具备了攻击性。

什么意思呢？就是我们去训练大模型的时候，需要把大量的信息数据上传到大模型进行训练。他的这种调试代码上传到服务器上以后，这个时候还是安全的，然后把一些恶意代码隐藏在训练数据里边。他把这些数据读出来以后，就对整个ByteDance的一些训练集群进行了攻击。这其实是黑客普遍采用的一些手段。

谷歌就曾经将所有含有root代码的应用全部下架。什么叫root代码？就是安卓应用里头有一些代码，它可以帮助这些安卓程序获得root权限，也就是我们俗称的越狱。以前这些代码会被藏在安卓应用的各种数据文件里。大家知道，我们上传的一个应用里头，有一部分是执行代码，还有一部分是数据文件，比如图片呀或者是一些其他的应用需要的一些数据。他们把一些root代码存在这些数据里头，谷歌扫描发现了以后，就会把所有这些应用全下架。

苹果其实也干过这种事。苹果是把所有带有热更新的应用都下架了。这什么意思呢？就是你上传到苹果的时候，这里边是安全的，没有任何问题。但是，你会在这个应用运作的过程中，通过热更新的插件，从远端去下载一部分代码到苹果手机的本地去运行。实际上，这些代码就是躲过了苹果的代码检测。这位田姓博士也是如此，他自己签名上传的代码，其实这种代码上传都是要自己写名字的。

就知道是谁传的这些代码的，都是安全的。他呢，通过读取数据文件里边的一些攻击代码，然后去执行各种攻击操作。它呢，利用了Huggingface的一个漏洞。Huggingface应该是大模型时代最大的开源服务平台了，大量的开源模型、开源数据及开源数据包，都是在这个平台上去运作的。Huggingface相当于是大模型时代的GitHub。但是呢，这里面也是有一些漏洞了。他利用其中一个漏洞，修改了Pytorch的这个集群里边的一些代码。Pytorch是梅塔开源的，现在应用非常广泛的大模型底层支持的框架。

他这种修改呢，会随机的杀死很多的实验进程。因为像大模型训练就是这样，就是说我们现在开始训练了啊，它不是说这边一一命令开始，那边就结束了。它需要很长时间。在这么长的时间里头，可能就会有一些进程就失败了。他的这个程序上去以后呢，就随便点杀几个，说你们就直接死机吧，你们就不用干活了。所以导致呢，这些训练整个就没有完成。而且呢，还会去故意修改其他同事模型上的一些参数。

其实我们现在讲的开源大模型，这个词语不准确啊，应该叫开放权重或者开放一些参数的这些大模型。他去把里头的一些权重、一部分参数给改了，那么导致这些模型最后训练、评测的各种结果就完全不可控了。他就做了很多这样的事情。而且还干嘛，还去参加各种故障排除会议，然后根据故障排除会议的各种结果，再去修改自己的攻击代码，和纯纯的卧底。

那么我们讲到这了，大家是不是没听明白他到底怎么干的呢？我们讲一个普通人非程序员能够听懂的案例吧。一个什么样的案例呢？比如说我们今天用穷举法去破解密码。什么意思呢？比如说你现在有一个四位的密码，是从4个0到4个9，一共呢，是一万种状态啊，从0000到9999。什么叫穷举法呢？就是一个一个试，首先是0000，不对，再是0001，再是0002，它等于是这样的一个过程。现在有人进去攻击了。

攻击的方式是什么呢？就是在每一次从000到0001这样的跳转过程中，他给你随机多跳几个，或者少跳几个，或者倒着往回跳几个。这种攻击一旦发生，前面所有的测试就都失败了。比如说，我应该测完0001，然后测0002，再测0003，应该是这样一个一个挨着测，我才能保证我的穷举，把所有中间过程的数值都试过了。

但是，有一个人给你投毒了，恶意攻击你了。0000完了以后，我就直接测试了0008，啊，然后测试了0007，再然后测试了020几，什么的，就这样了。他等于随机跳了，那你说，我这不是都测了吗？问题在哪呢？就是你测试的过程，其实是没法去一个一个记录的，到底测了哪些，记了哪些，哪些没测，你这个事你不知道了。

穷举法的最大价值就是我挨着个儿的把所有的数都测一遍，但是你在测的过程中来回跳，这就是最简单的投毒方式。据说，这一次投毒造成了几千万美元的损失，因为他的模型评估结果忽高忽低。前面的所有测试数据，实际上都被污染了，必须重新来过。因为做这种大模型测试的话，第一个，这帮人就很贵。据说是因为这位田姓博士生的投毒，导致30多位各层级的员工，他们的工作都被浪费了。

大家要知道，能够干这件事情的人，本身的薪资是非常高的。就算是这种实习生，他们的薪水也不低。你想，他是个博士嘛。这些人啊，准备了大量的数据，可能还有很多人去帮着他们一块准备数据。再加上什么呢？烧显卡呀，你需要用大量的显卡算力来进行模型训练。训练完了以后再去进行评估，现在等于所有的这些评估数据都不可信了，只能把它们都扔掉。

就跟刚才我们讲的这个穷举法破密码似的，你现在告诉你说：“哎，我现在已经从0000破到9999了，没有找出密码来。”那咋办呢？只能从头开始啊，因为你搞不清楚到底哪些数测了，哪些数没测呀。他实际上干了这么一个事情，所以这个是非常严重的损失。前几天李开复还讲了，他说我们训练一次模型，需要三四百万美金的这种成本。

那么，这么长时间被他投毒，也就是数据污染的模型训练过程，现在都不知道有多少。所以，他这个事情到底有没有亏掉几千万美金，真不好说。外界传是有这么多，但是ByteDance自己的人说，应该没这么多。确实有损失，但是没有那么夸张。这个数据呢，我觉得，我们大家自己心里稍微有个数就可以了。

现在呢，对于这位实习生的处理，就是把他辞退了，然后呢，也对行业内的协会以及他所在的学校进行了通报。也就是这哥们再去什么地方上班，你们就别要他了。学校你自己看着办，是不是给一个处分，或者是如何去处理， let不让他毕业啊，你们自己看着办就行了。

目前呢，还没有进一步的诉讼或者追偿的措施。其实怎么说呢，这种学生未来未必不会成才啊。因为前面我们看奥本海默的这个电影的时候，我们知道奥本海默在上学的时候，是曾经尝试往他的导师吃的苹果里边打过毒药的。这种人最后也把原子弹操出来了。所以，这位实习的田姓博士生，反正不算是个笨人啊，未来到底能做什么不好说。当然，在中国这样的一个环境下，可能他也就没有什么未来了。

这个事情告诉我们一个什么样的道理呢？就是在工程管理里头，必然要面对一个人员管理的问题。这个事情呢，其实是谁都绕不过去的。人呢，并不是螺丝钉。很多的工程管理里边，都希望把人变成螺丝钉，变成没有感情的机器，这件事其实是有问题的。我记得以前经常讲说，怎么能够放心地把后背交给队友，这个就是大家在进行协作的时候，必须要思考的问题。

很多人都去参加过那种破冰团建。什么叫破冰团建？就是大家谁都不认识谁，为了能够组建一个团队，要把这个冰层敲开，叫破冰。这个里边都有一个项目，我参加过几次，每次都有这个项目。什么？背摔。就是两个手这么抱起来，站在一个台子上往后倒，就是你看不到后边。后边呢，是你所有的队友伸手接着你。这个过程就是培养对队友的这种信任。你说，我可以把我的后背交给大家，因为人向后摔的时候，特别是不看人的时候，你还站那么老高。

这是很危险的。反正我每次往后摔的时候，都心怀忐忑啊。因为为什么？胖啊，万一下去了以后大家没接住，这事不是很危险吗？当然，我现在还可以活蹦乱跳，在这跟大家讲故事啊，所以我的队友们每次都接住我了。

我记得原来看美剧，有一个美剧叫《梅林》，讲的是大法师梅林的故事。里边呢，就有这样的一个桥段，讲的是什么呢？一个平民冒充贵族成为骑士，在亚瑟王的这个团队里边去征战。而且呢，他的战功还非常的卓越。这个人在继续晋升的时候呢，他的身份就被揭穿了，说你不是一个贵族，你不可以成为骑士，你不可以在这里继续战斗下去，就把他赶走了。其他人就觉得很不公平，去问啊，为什么这样的一个人就不能够跟我们一起战斗呢？

给出的解释是这样的：之所以只有贵族才可以成为骑士，是因为我们必须知道他的父亲是谁，也必须知道他的家族是什么，必须知道他为什么事情感到荣耀。只有在这种情况下，我们才可以把后背交给他。

所以呢，自古以来，如何把后背交给别人这件事情，一直是团队管理、工程项目管理里头一个比较难以逾越的鸿沟，或者一个重大的难题吧。在古代，奴隶呢，可以在鞭子下面去修建金字塔，也可以修建长城。但是呢，奴隶是不太可能带着镣铐去实现现代科技创新的，因为这个需要脑力劳动的。而且这些脑力劳动最终的结果，是非常难以进行解读的。他不像是去修金字塔似的，你把这个石头搬上去了，就是搬上去了，奴隶主也好，或者监工也好，拎着鞭子在旁边是可以看到的。

而现在，你想，这家伙上去写代码，然后这个代码还有一定的隐藏性。我上传的时候，这代码没毛病，等传上去以后，他在里头做了一个变身，开始进行攻击，这种事情，你是一个人拎着鞭子在后边盯着，就可以盯明白了吗？这个事是不行的。

如何让高级打工人在工程允许的范围内，输出可控的结果，这件事呢，是现代很多大型软件工程里边都很头疼的事情。而且是不是可以在整个的工作过程中超越预期，这个也是大家需要去思考的事情。什么叫超越预期？

你想预期吗？一定是有不达到的、有达到的、超过的。现在工程上面说我们能够达到就行了，我们要求你给我做到80分，你给我最后做到80分了就OK了。但是最后做到90分、做到95分，那些产品呢，就叫超越预期的。人是可以输出很多不可解释的结果的，工程管理一般是要求你所有的结果、所有过程可以解释的，但是人经常会输出很多这种不可解释的结果。比如说那种充满了爱的寿司，那个寿司之王，他做出的那个寿司绝对没有标准化啊。工程处理的方式就是标准化，你们必须是多少力量，然后抓多少米、多少克，精确到多少，然后呢，捏几下力量到多少。这是工程用的方式。但是你想，寿司之王他有这个水平吗？人家是靠爱来做这个事情的，充满了对寿司的爱，然后做出了很好的寿司。所以人有时候会做出一些你完全无法想象的东西。

另外一面的话，在996高压工作、心怀怨怼的情况下，需要进行大型协作的工作是非常非常危险的。你说我一个人把这事搞定，那你就算心里再不满意，没准都是有可能能够做出来的。你想以前的铸剑，实在不行就把这个老婆孩子往那个炉子里扔，最后他也能把那个剑铸出来。但是现在不行啊，因为这么多人协作在一起。你说：“哎，有什么事我就扣你钱啊，有什么事你就必须加班啊。”而且要进行很严厉的处罚，每天从早骂到晚。这些人在一起协作，他是不可能做出一个好的产品来的。

其实咱们讲到前面，奴隶们在鞭子的驱赶下去修长城这个事，长城的质量真的好吗？孟姜女哭长城，你以为那个长城真的是她哭倒的吗？那个工程质量一定是有问题的。这一次犯错的是一个博士生，是一个实习生。当然在这个里边我要讲的是什么呢？就是我们不要去怪罪这个个人啊。出了问题一定是整个的工程项目管理有问题，而不是这一个人有问题。就任何人都有可能出问题，你不能说：“哎，别人都是好好的，怎么就你错了？”一定是你个人的问题，千万不要这么想这个事情啊。如果是这样去思考这个问题的话……

那么这一次出问题是一个偶发事件。下面继续出问题，继续是偶发事件。那么就永远不可能有任何改进了。需要改进的，只能是工程系统的这种管理过程，不可能是说我保证每一个人都怎么怎么样，这事是不现实的。

下一个问题是什么呢？就是开放跟封闭到底哪个更安全？其实这一次ByteDance的问题也暴露了一个新的问题。是什么呢？就是它是利用Huggingface上面的一些漏洞来去进行攻击的。那么你说这种开放的系统经常会被攻击， 经常会有问题暴露出来。而自古以来那些，比如中国传男不传女的那些工艺，包括像意大利威尼斯穆拉诺岛上的这些玻璃工艺，就坚决不允许外传，任何外传的人直接被杀头。

那么到底我们是应该使用中国或者是古代威尼斯这种封闭的技术管理方式，还是应该用Huggingface、GitHub这样的开放的技术管理方式呢？现在看，应该还是要开放。为什么呢？就是现代整个的互联网发展、移动互联网发展，包括现在的大模型的发展，都是建立在开放的技术平台上，都是建立在开源的基础上的。

虽然我们看到了很多问题，这一次Huggingface出问题了，前面比如说Linux哪儿出问题了，都是开源系统。但是你要相信，那些被封闭起来的系统里边儿问题更多，你只是不知道而已。开放的系统里边，我们有问题就可以发现，发现了以后就可以去改，这才是不断改进、不断完善的一个过程。越开放的地方，问题就越容易被发现，就越容易被改正，这才是开放真正的意义，而不是说你看出错了吧，下回赶快封起来，咱们再搞这个传男不传女，不能这么干。

开源呢，就是新时代的松藕河的合作模式，全世界陌生人都可以合作在一起，共同在开源项目中去贡献代码，去提升开源项目的这种进度与品质。时代的进步本身就是分工不断细化，以及合作更加广泛的一个代表。我们就是要继续向开放的路上接着走。所以呢，千万不要因为说开源系统出错了，我们以后就封闭。最后我们还要讲一个问题。

未来犯错的可能就不再是人了。这一次犯错的是这位姓田的博士生实习生。以后更多会犯错的是什么？是AITC大模型啊。这可能是我们需要思考的另外一个问题。AIGC也要参与到跟人的协作过程中来。那么，AIGC是否值得信任？

我记得在早期大模型出来以后，很多人就是说：“哎呀，这个大模型就像是一个刚刚走出校门的本科生，具备各种知识，但是呢，进到各种行业里边去，都会有一些水土不服的感觉。”现在我们就要面临这个问题了：我们需要跟这些AIGC大模型合作的时候，它到底是不是可信？

而AIGC的结果呢，其实是非常难以验证的，就跟这位田姓博士生给出的代码是一样的。为什么难以验证呢？第一个是量很大，很多的人可能没有AIGC的知识面全面，反应速度肯定更没有它快。但是呢，AIGC产生了大量的内容，产生了大量的结果，这些东西是没有人可以去一条一条去验证到底是不是正确的，人没有这个能力。而且呢，这些内容非常分散。

为什么要讲到分散这件事呢？就是刚才我们刚讲过，开源系统或者开放系统，它更容易发现问题。但是呢，有一个前提：这个系统有很多人用。有人开源了一个系统，从来没有人用，它的问题就很难被发现。一定是很多人都用过了以后，才更容易发现问题。

但是呢，AIGC生成的内容量非常大，分散在各个角落里头。有些内容会有人认真去看，有些内容可能没有人认真去看。那么，这些分散的内容，你要再想把它所有的错误都找出来，基本上是不可能的。而且呢，AIGC的工作过程基本上是不可解释的，并不是说AIGC整个的工作底层原理都不可解释。现在已经有很多人去尝试理解和分析AIGC到底是怎么工作的，每一次为什么给我们这样的结果。

但是大家要注意一个问题：它是有成本的。你要去确认AIGC这一次为什么这样给我结果，它是有成本的。如果每一次都要进行这样的确认的话，这个成本是没法接受的。

所以呢，AIGC所产生的大量工作过程都是不可解释的。而且，AIGC未来会有更多的端到端的这种结果输出。在这个过程中，他们整个输出的过程，人类是没法参与的。人类想要去参与这种协作，比如说我们几个人凑在一起去写程序，那我们要干嘛呢？首先要商量半天，哎呀，这个我们怎么写，怎么规定啊，这个代码应该怎么放，怎么去命名啊，如何去做架构，这要不停的商量，还要写大量的文档，大量的规范文件，写很多的注释，大家才可以一起去协作。

你一旦AIGC端到端了，我这边输入要求，那边出结果。上帝说要有光，于是就有了光，中间的过程完全都不知道，他也不需要写注释，因为他不需要跟自己解释任何事情。那么这种内容的话，人是没法读懂的。

所以呢，我觉得这一次ByteDance的这位博士实习生造成的投毒事件，其实会告诉我们说，未来我们去跟AIGC合作的时候，他就像这个实习生一样，他到底做了什么，到底怎么做的，为什么这么做，其实我们这些使用者也是不知道的。而且，你是完全没有办法去对过程和结果进行追踪和验证的。

所以可能未来如何去跟更多的人去合作，如何去跟更多的机器进行合作，如何去跟更多的人与机器结合的实体进行合作，可能是我们未来需要面临的新的挑战。好，这个故事就跟大家讲到这里，感谢大家收听。请帮忙点赞，点小铃铛，参加Discord讨论群，也欢迎有兴趣有能力的朋友加入我们的付费频道。再见。