<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>编程能力 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<atom:link href="https://lukefan.com/tag/%e7%bc%96%e7%a8%8b%e8%83%bd%e5%8a%9b/feed/" rel="self" type="application/rss+xml" />
	<link>https://lukefan.com</link>
	<description>这里是老范讲故事的主站，持续更新 AIGC、大模型、互联网平台、商业冲突与资本市场观察，帮你看清热点背后的底层逻辑。</description>
	<lastBuildDate>Tue, 17 Sep 2024 01:10:55 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.9.4</generator>

<image>
	<url>https://lukefan.com/wp-content/uploads/2026/03/cropped-jimeng-2026-02-28-5245-用图一的人物形象，替换图二中的人物，使用图二的风格。文字替换：老范讲故事，Yo-32x32.jpeg</url>
	<title>编程能力 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<link>https://lukefan.com</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>OpenAI的GPT-o1 发布：科技大爆发的前奏，草莓模型震撼上线</title>
		<link>https://lukefan.com/2024/09/17/openai%e7%9a%84gpt-o1-%e5%8f%91%e5%b8%83%ef%bc%9a%e7%a7%91%e6%8a%80%e5%a4%a7%e7%88%86%e5%8f%91%e7%9a%84%e5%89%8d%e5%a5%8f%ef%bc%8c%e8%8d%89%e8%8e%93%e6%a8%a1%e5%9e%8b%e9%9c%87%e6%92%bc%e4%b8%8a/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Tue, 17 Sep 2024 01:10:51 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[AI Agent]]></category>
		<category><![CDATA[AI 小模型]]></category>
		<category><![CDATA[AI 模型]]></category>
		<category><![CDATA[API 调用]]></category>
		<category><![CDATA[GPT-4o]]></category>
		<category><![CDATA[GPT-5]]></category>
		<category><![CDATA[GPT-o1]]></category>
		<category><![CDATA[GPT5]]></category>
		<category><![CDATA[Mini 版]]></category>
		<category><![CDATA[Omni]]></category>
		<category><![CDATA[OpenAI]]></category>
		<category><![CDATA[Orin]]></category>
		<category><![CDATA[Plus 用户]]></category>
		<category><![CDATA[TOKEN 费用]]></category>
		<category><![CDATA[Transformer 优化]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[信息传递]]></category>
		<category><![CDATA[信息文献]]></category>
		<category><![CDATA[学习成本]]></category>
		<category><![CDATA[工程师]]></category>
		<category><![CDATA[幻觉产生]]></category>
		<category><![CDATA[数学能力]]></category>
		<category><![CDATA[显卡需求]]></category>
		<category><![CDATA[民间科学家]]></category>
		<category><![CDATA[深度思考]]></category>
		<category><![CDATA[猎户座]]></category>
		<category><![CDATA[研究报告]]></category>
		<category><![CDATA[社会稳定]]></category>
		<category><![CDATA[科学家]]></category>
		<category><![CDATA[科技分析]]></category>
		<category><![CDATA[科技创新]]></category>
		<category><![CDATA[科技创新力]]></category>
		<category><![CDATA[科技前沿]]></category>
		<category><![CDATA[科技前沿技术]]></category>
		<category><![CDATA[科技前瞻]]></category>
		<category><![CDATA[科技动态]]></category>
		<category><![CDATA[科技发展]]></category>
		<category><![CDATA[科技发展趋势]]></category>
		<category><![CDATA[科技变革]]></category>
		<category><![CDATA[科技大爆发]]></category>
		<category><![CDATA[科技展望]]></category>
		<category><![CDATA[科技工具]]></category>
		<category><![CDATA[科技市场]]></category>
		<category><![CDATA[科技应用]]></category>
		<category><![CDATA[科技影响]]></category>
		<category><![CDATA[科技影响力]]></category>
		<category><![CDATA[科技怪人]]></category>
		<category><![CDATA[科技投资]]></category>
		<category><![CDATA[科技报道]]></category>
		<category><![CDATA[科技挑战]]></category>
		<category><![CDATA[科技探索]]></category>
		<category><![CDATA[科技新闻]]></category>
		<category><![CDATA[科技更新]]></category>
		<category><![CDATA[科技未来]]></category>
		<category><![CDATA[科技未来展望]]></category>
		<category><![CDATA[科技机遇]]></category>
		<category><![CDATA[科技潜力]]></category>
		<category><![CDATA[科技热点]]></category>
		<category><![CDATA[科技热点话题]]></category>
		<category><![CDATA[科技研究]]></category>
		<category><![CDATA[科技突破]]></category>
		<category><![CDATA[科技筛选]]></category>
		<category><![CDATA[科技融资]]></category>
		<category><![CDATA[科技观察]]></category>
		<category><![CDATA[科技评测]]></category>
		<category><![CDATA[科技评论]]></category>
		<category><![CDATA[科技资源]]></category>
		<category><![CDATA[科技资讯]]></category>
		<category><![CDATA[科技趋势]]></category>
		<category><![CDATA[科技进步]]></category>
		<category><![CDATA[科技预测]]></category>
		<category><![CDATA[科技领域]]></category>
		<category><![CDATA[科研工具]]></category>
		<category><![CDATA[程序员]]></category>
		<category><![CDATA[编程效率]]></category>
		<category><![CDATA[编程测试]]></category>
		<category><![CDATA[编程能力]]></category>
		<category><![CDATA[自动驾驶]]></category>
		<category><![CDATA[英伟达]]></category>
		<category><![CDATA[草莓模型]]></category>
		<category><![CDATA[计算机科学]]></category>
		<category><![CDATA[语言生成]]></category>
		<category><![CDATA[金字塔状态]]></category>
		<category><![CDATA[预览版]]></category>
		<category><![CDATA[高成本]]></category>
		<category><![CDATA[高效提示词]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=1563</guid>

					<description><![CDATA[付费频道订阅：https://www.youtube.com/channel/UCUGLhcs3-3y_yhZZsgRzrzw/join

OpenAI的GPT-o1 发布：科技大爆发的前奏，草莓模型震撼上线

GPT O1 的发布标志着科技大爆发的前奏。本文详细介绍了 GPT O1 的发布背景、功能特点以及对科技圈的重大影响。GPT O1 以深度思考和语言生成为核心，具有强大的数学、物理、生物和化学能力，甚至在编程方面超越了 93% 的程序员。文章还探讨了 GPT O1 在使用体验、成本和应用场景上的具体表现，及其对未来科技发展的潜在影响。关键词包括 GPT O1、科技大爆发、草莓模型、OpenAI、深度思考、语言生成、数学能力、编程能力、科技创新。

家人们！凌晨三点！OpenAI 偷偷放大招，GPT-O1 横空出世了！！！啊啊啊啊啊啊啊！科技圈过年了！🎉🎉🎉

先说结论：GPT-O1 不是 GPT-5，但绝对是划时代的产品！

以前那些大模型都是小打小闹，GPT-O1 才是真正意义上的深度思考！博士水平的物理、化学、编程能力，直接秒杀93%的程序员！😭😭😭

我用 Plus 账号体验了一把，真的好用哭了！就是……有点贵！一周只有 30 次使用机会，每次还得等它思考好几分钟！OpenAI 你这波操作真的看不懂啊！🤯🤯🤯

不过话说回来，GPT-O1 这么强大的工具，普通人到底应该怎么用呢？🤔🤔🤔

划重点！👇👇👇

1. GPT-O1 思考速度慢，使用次数有限，一定要珍惜！
2. 使用前先用 GPT-4 或 GPT-4 Mini 整理好提示词，别浪费宝贵的机会！
3. GPT-O1 也会犯错，不要盲目相信它的结果，一定要仔细检查！

总而言之，GPT-O1 的发布绝对是 AI 发展史上的里程碑事件！未来已来，让我们一起拥抱 AI 新时代吧！🚀🚀🚀]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="OpenAI的GPT-o1 发布：科技大爆发的前奏，草莓模型震撼上线" width="900" height="506" src="https://www.youtube.com/embed/WzmP0-zYAXk?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p>大家好，欢迎收听老范讲故事的 YouTube 频道。今天咱们来讲 GPT O1 发布，科技大爆发应该会到来。草莓模型终于发布了。今天我太太还问我说，这个模型发布了，对于你们这些科技圈的人来说，算是意料之外，还是算意料之中？这个事情直接把我问在那了。</p>



<p>其实，每一个人都希望赶快把草莓模型发出来。但是 OpenAI 从今年年初开始公布 Sora 到现在，他吹的牛有点太多了。到现在为止，这是我们真正见到的能够用的产品。虽然 GPT4O 也是能用，但完整的 GPT4O 其实到目前为止，一直没有彻底开放出来。而这个 O1 上来直接就开放了，今天早上凌晨 3 点突然上线，哐往那一挂，大家愿意用的都可以去用了。我自己也去用去了。他呢，也换了一个名字，叫 GPT-O1。所以呢，这就不是 GPT5。</p>



<p>未来可能会走两条路，一个是继续走这种直接进行语言生成的，而 O1 这条路，走的是深度思考，要去反思一个问题，要深思熟虑以后才去回答。所以他有可能两个路要分开走，而且两个模型可能会相互配合着使用。</p>



<span id="more-1563"></span>



<p>现在的 OpenAI 呢，就跟 O 干上去了，OpenAI 以 O 开头嘛，它后边的仪态产品基本上都是 O。GBT4O 这个 O 叫 Omni，意思是全能。下一代大模型，也就是大家等待的 GPT5，它的模型的名字叫 Orin，猎户座。而现在的 GPT O1 意思是从零开始计数，从头开始。</p>



<p>这是一个什么样的大模型？他深思熟虑，具体里边是怎么做的，这个都是大家在猜，或者有一些很简短的文章，因为现在他也不开源，OpenAI 变成 Close AI 了。这个东西到底内部如何实现呢？大家只能猜。</p>



<p>现在就可以用 Plus 用户，像我就是 Plus 用户，一个月 20 美金，可以用到两个版本，一个叫 O1 Preview，预览版，应该是在正式的 O1 版本上裁剪出来的一个版本；另外一个叫 O1 Mini，O1 Mini 是要比 O1 Preview 还要再小一些的版本。但是这个额度非常少，少到什么程度？O1 Preview 一周 30 次，我今天大概已经用了有十来次了，后边几天我要省着点用了。Mini 是一周 50 次，真的是没见过这么抠搜的模型。以前的都是三个小时多少次，或者一天多少次，甚至有一个小时多少次，而现在这个 O1 都是一周几十次。所以用的时候一定要小心。</p>



<p>有人在去传说，准备上 200 美元一个月的 Preview 版本，这个属于传言。今天还去问了 GPT4O，被辟谣了，说我们不准备干这个事。<br>就是20美元一个月的这种Plus版本，我就让你用，只是数量少一些。未来，我们会想办法把这个数量提升上去的。这个O1的测试数据非常亮眼，数学能力极强。在2024年美国数学邀请赛上，能够达到全美前500名优秀学生的这个水平，这是非常吓人的。然而，他这个数学邀请赛应该是中学生，文中并没有说明到底是初中生还是高中生，但能够达到前500名的北美学生参赛水平的，已经非常高了。</p>



<p>物理、生物、化学方面，可以直接达到博士生的水平，这个也是很恐怖的一个能力。编程能力得到了极大的提升，在信息学奥林匹克竞赛里头，超过半数的参赛选手，如果是打开常考，让他慢慢的想，让他多试几次，是完完全全可以得到金牌水平的。在Code Forces平台做竞争性编程比赛上，已经超越了93%的程序员，已经算是一个比较资深的程序员了。</p>



<p>我自己也在里边做了一些编程的测试，确实非常的猛。我去向他提出一个很详细的要求，我说我现在要做什么事情，希望使用哪些技术，希望效率怎么提升，在界面上怎么去设计。当然，这个提示写的比较长，写完了以后，啪一回车，首先是漫长的等待。不是说啪一回车就出来了，这东西挺慢的。等一会以后告诉你说，应该在哪个地方，怎么去装环境，第一步做什么，第二步做什么，哪个里头有哪个文件，这个文件里写什么东西，啰里八嗦写了巨长的一段。我发现O1这个玩意是非常话痨的一个大模型。</p>



<p>而如果你不是像我这样用Plus版本去直接调用，而是说我要用API去调，那你就上了当了。他会啰里八嗦说半天的，而且他那个TOKEN的费用奇贵无比。那么，为什么讲这就是科技大爆发即将到来？O1其实并不是给普通人用的，普通人去玩GPT-4O就已经足够了。O1这种东西其实是给科学家、工程师、程序员用的工具。</p>



<p>现在限制科技发展到底是什么？其实数学是限制科技发展的一个很重要的因素。因为数学越往后发展，其实越反人性，必须筛选出极少数的数学天才，才能够继续往前面去前进。而且人类为了达到当前科技的高度，必须进行非常长时间的学习。你想，一个小孩从出生一直上到博士，可能研究才能研究点东西出来，这个时间得二十几年，甚至是三十年你才有可能能够学完。学习的成本是非常高的，而且筛选也很严格，因为学习成本很高，必须要选出最能够去学习的人去学。</p>



<p>但是筛选的过程又未必科学合理，不一定说一个筛下去的人，他就比进去读博士这个人差，也许你换一个人上来科技就发展了。<br>但是这件事我们不知道，没有任何可以试错的机会。在学习的过程中，也会扼杀创新力，因为我们不断地学习，实际上就在学习前任的方法，这会造成路径依赖。所以，其实是导致现在科技很难再往前走的一个很重要的原因。而且，我们必须要阅读大量的信息文献，才能够去做研发。为什么呢？如果不读，你只能重复造轮子。有没有人做过这个？没有查重，那你折腾半天做完了以后发现，哎，20年前有人做过了。这也是很正常的。而且，人的大脑不是说我读了大量的信息和文献，就可以去做新的创新的，而是什么呢？我们的大脑像掰棒子的狗熊似的，你把新的东西进来以后，就把旧的知识可能忘掉。你要想始终得到一个最新的知识，在这个基础上去做研究，这还是非常难的。</p>



<p>但是现在有了O1的帮助，这些问题其中一部分就可以解决了。我们不再需要进行严格的筛选，不再需要进行漫长的学习，让更多的人可以进来进行科学创造。整个科技大爆发，可以带来不同的变化。很多科技前沿的关卡，其实已经开始松动了。学习筛选的过程也必然会发生改变，以适应O1之后的科技研究。</p>



<p>我个人用的体验到底怎么样？首先说，个人使用O1的体验并不好。为什么？第一个是很慢，这刚才我讲了，一个回车下去，你要在那等。而且很贵，如果使用TOKEN API直接调用O1的成本，要比我们使用GPT的各种模型都要贵很大的一个比例。而且给的配额还非常少，你想，一个礼拜才给了你50次，这个事实在是让你不太敢打回车。</p>



<p>编程问题我去试了一个，刚才我们讲的说你给我写一段程序，他思考了多长时间？两分钟。你打完回车以后，两分钟他没理你，做完了以后再告诉你说我们整个用了两分钟，才给你输出了一个结果。每周三50次，这确实是有点费劲。</p>



<p>那贵到什么样的程度？O1 Preview的价格是GPT4O的3-4倍，输入100万TOKEN是15美金，输出100万TOKEN要60美金，这个是非常重的一个价格了。因为我们去写编程那个题的时候，刚才我说他写的特别话痨吧，直接输出了8,000多个TOKEN。按照100万TOKEN 60美金算的话，我等于那一次回车下去，我就已经花了大概0.5美金出去了，所以这玩意是非常贵的。</p>



<p>O1mini要稍微便宜一点点，100万的输入是3美金，输出是12美金，但是MINI可能有一些效果会稍微差一点。那比较一下4O，100万的输入是5美金，输出是15美金。<br>这个已经是现在大家可以用到的比较好的模型了，而4O mini就是4O蒸馏出来的小版本。100万的输入才0.15美金，100万输出是0.6美金。所以我现在大量的这种模型工作，都是使用的4OMini。而且现在API的调用还非常不完善。</p>



<p>怎么个不完善法？第一个，不允许加系统信息。你正常跟人聊天的时候，你说的话叫用户信息，他回复叫助理信息。正常我们去跟OpenAI聊天的时候，还有一个信息叫系统信息，我们先设定你是谁，张三李四，你擅长什么事，这叫系统信息。现在这个O1呢，是不支持系统信息的，也不支持函数调用，还不支持流式输出。</p>



<p>流式输出是什么？我们在GPT上跟人聊天的时候，GPT都是一行一行一个字这么出来的，因为它出的慢。如果你不是随想出来点什么，随出就会等很长时间。而这个O1压根就不支持这功能，你只能是打完回车生等，等到他彻底算完了以后，啪一把吐出来。Plus用户呢，直接就可以用，但不是很顺畅。为什么呢？他不能访问网页，现在只能是用他已经训练好的数据去给你回答，而且也没有搜索的接口。</p>



<p>思考的过程建议大家不要打开，因为你在这个Plus版本里头说，“现在O1不一给我去回答一个问题”，你打完回车以后，他告诉你说，“我现在在想，我在思考，我有一些什么样的问题。”他在不停的在变化。这个东西呢，如果你点他，给展开一个思考过程。我点开过，我问了一个问题以后，发现他思考的有中文的、有英文的，还有阿拉伯语的，讲的东西基本上是驴唇不对马嘴，完全在胡说八道。但是最后输出的效果并不差，只是中间思考的过程，我估计是什么呢，随便给你写一点信息，让你不要太着急。</p>



<p>所以这个中间思考过程大家就别点开看了。O1这一次的发布其实是非常匆忙的。为什么呢？第一个是钱真的不多了，要尽快完成融资，否则以OpenAI的尿性，肯定还是说我们再放个气球出来，放一个视频出来，让大家慢慢等，而不是说直接咔就把东西扔出来了。现在马上要融钱，据说他们准备融资60多亿美金，再贷款50亿美金。那么这些钱加一块，大概也就够他烧个半年或者八九个月这种水平，再往后可能还得再去找钱。</p>



<p>所以在这种情况下，有一个新的模型发布，对于他找钱来说是比较有好处的。而且O1的很多体验并不好，很多GPT上实现的功能其实都没有实现，包括刚才我们讲的不能接网页、不能接搜索、不能去做流式输出。<br>而且呢，还没有任何的多模态。比如，你要给他一张图，他认不出来。想让他去做题吧，你必须要先用GPT-4O把这个图识别好了，再把这个识别出来的题扔给他，再让他去做。他自己没有这个能力。而且O1其实并不太适合广大民众，广大民众真正需要的可能是他Orin猎户座大模型啊，而现在那个还没出来，到底什么时候出来不确定。OpenAI最近也不断有员工在离职创业，这对于吹了太多牛、拿不出产品的OpenAI来说，会造成非常多的困扰。</p>



<p>即使有这么多问题，GPT O1不是那么完善，但GPT O1依然是一个划时代的产品。O1应该怎么用？大家知道最早的程序员是怎么干活的吗？最早的程序员应该这样，首先在纸上写代码。那个时候这个机器是非常紧张的，不是说随时就有啊，个人电脑是很靠后才有的。所以呢，早期程序员都是在纸上写好代码，写完代码以后，拿打孔卡或者是打孔纸袋去编程。在这个袋子上打完眼以后，约时间，说我什么时间是要去上机。你要去约，约好了以后，到机房把这个纸袋也好或者是打孔卡也好，装到这个机器上，咔咔咔给你输进去，漫长的等待，在回收结果。回收完了以后，如果发现有错误或者不满意的地方，回去接着改程序去啊，然后再约下一次去上机。最早的程序员是这么干活的。为什么这么干？就是因为资源太少。</p>



<p>O1的使用其实可以参考刚才我们讲的过程。第一个，GPT Plus的账号上每礼拜只能使用几十次，所以一定要珍惜。第二个，就是很昂贵。如果你说我不希望被它限制，我要到这个API上直接调用，那么这个确实是可以突破限制，你愿意使用多少就使用多少，但特别贵。另一个就是反馈很慢，你不可能得到实时结果。</p>



<p>那么现在我是怎么用的呢？第一个，先用GPT-4O或者是4O MINI这样的模型整理提示词。我先要说我要干什么，请把提示词给我写好，要给你省一个非常复杂的提示词。在这个基础上你再改，改完了以后再让GPT-4O去给你修改，得到了一个完整的提示词，要把该问的事情都问好。做完了以后，满意了检查过了，一把塞给O1说行，这就是我要干的事，你去干去吧，进行漫长的等待，可能等个几分钟，接收完整的结果。因为他不能像4O似的，我随时聊，错了以后我再纠正你，我再告诉你哪错了，再给我改一改。他没有这个机会，因为交互次数实在太少，而且很贵。这是GPT O1的一个使用方法。如果你说我现在想用O1去解决一个问题了，建议你们像我这么干。<br>先用GPT-4O去整理提示词，整理完了以后，一把扔进去。这可以把这些珍稀的使用机会应用到最大价值。再往后，可能很多AI创业的厂商又该有噩梦了。现在，AI agent的创业公司，噩梦又轮到脑袋顶上了，因为每一次OpenAI发布产品，都会有创业公司突然死亡。</p>



<p>AI agent干的是什么呢？就是人工规划设计流程，将复杂的任务分摊到多个大模型，最终获得一个可用的结果。而GPT-4O基本上是把上面的活儿都替你干完了。你给它一个复杂任务，它替你分拆，分拆完了以后一步一步去思考，思考完了再反思，去检验结果，在结果里挑一个最好的，再把这个结论扔出来给你。</p>



<p>我们自己去设计的这些工作流，可能还没有O1内部设计的工作流合理。他这个可能又高效又合理，所以大部分当时做的AI agent，现在都没有什么用了。那么O1算不算一个端到端的系统呢？这个怎么说，响应速度和想一想的过程，说端到端稍微有一点点亏心。</p>



<p>那么现在GPT O1还不适合融入AI agent，因为它实在是太慢了。以前的AI agent要重新做，重新规划。怎么规划？原来的AI agent是很多小模型，通过一个流程处理一个明确的需求，然后再拼凑出结果来。那么现在就应该换了，还是用一堆AI小模型，在人工参与下，输出完整高质量的提示词。这应该是AI还可以干的事。</p>



<p>再把这个提示词扔给GPT O1，得到了结果之后再干嘛？再用那些小模型或者执行代码，再去把GPT O1的结果去分解。说到底要去做哪些操作，哪些的代码要去修改，哪个地方要去建文件，要把这个事情自己再去处理掉。因为这个O1后边的部分都没有，它只是负责把要求出进去，它把结果扔出来，它就干这件事。</p>



<p>GPT O1带来进步，肯定也会带来一些毁灭或者一些伤害，这个事永远都是这样。我们发明枪会有伤害，发明炸弹可能有伤害的，包括计算机也是对社会有伤害的。O1这样的东西，它会对社会带来什么样的伤害呢？第一个，原来我们一直思考的叫有钱人不作恶理论，这个事被打破了。很多人说不对啊，都讲万恶的资本，怎么有钱人就不作恶了呢？</p>



<p>大家想这样一个例子：一个有钱人跟一个穷人过独木桥，每次只能过一个人，这时候该怎么办？通常有钱人会向后退，让这个穷人先过去。为什么呢？因为有钱人身娇肉贵的，如果真的掉下去了，或者出点什么事，这所有的东西就都没法享受了。而穷人呢，一条烂命，其他啥也没有，他输得起。<br>但有钱人输不起。所以呢，以此为基础，很多西方人认为，只要财富积累到一定程度以后，就不会去做一些特别过分的事情。你会维护社会的规则，继续运转下去。这个也是很多西方人认为大模型不作恶的一个原因啊，因为大模型训练实在太贵了。有钱人是不会花了这么多钱去训练一个大模型，跑去干一些坏事。对于他们来说，没意思。</p>



<p>我记得以前，我们也遇到过类似这样的问题。那时是买瑞士军刀，一个东西一个刀好几百上千。我就问那个卖瑞士军刀的人：“我说这玩意这么老长，算管制刀具吗？”后来人家那个店长也跟我乐，说：“您见过买上千的刀出去挡人的吗？买上千的刀的人都是搁家里摆着的。有钱人是不干坏事的。”</p>



<p>但是GPT-01出来以后，这个就被打破了。为什么呢？失控了。现在不需要那么有钱，也不需要那么天才，每个人都有机会推动科技进步。那么，藏在深山或者地下室里的科技怪人，可能就会越来越多。甚至很多民科，我们管它叫民间科学家。以前这些人只能骗东西，他们是做不出真正的玩意来的。但是现在有了GPT-01后，这些科学怪人和民科，就有可能做出奇奇怪怪的东西来。</p>



<p>那么，社会就会从一个稳定的金字塔状态，变成了散乱的一团沙丘。原来你必须要汇集起整个社会的动力，来供养金字塔尖上的一点点人，成为大的科学家，汇集资源，才可以去做科研。现在不用了，我们拿这样的工具，每个人说：“哎，我想设计一个什么东西啊。”跟咱们看美剧有一个美剧叫《Young Sheldon》，人家小孩坐在家里捅吧捅吧，想去做核反应堆的，可能未来这个事情就会变得越来越容易了。</p>



<p>而且GPT-01其实依然会产生幻觉，他也经常会说错、忽视，认为经过反思、经过很认真的思考以后，他说的就不错了。而且GPT-01的幻觉，它的危害要比传统的这种幻觉要大得多。</p>



<p>咱们先讲一个著名的哈雷彗星笑话吧，大家理解一下这个幻觉是怎么产生的。这个故事是在1910年，当然也有一些其他年份的说法，反正就是哈雷彗星来的那年。故事的重点是信息传递的一个偏差。</p>



<p>说某部队一次命令传递过程如下：少校对值班军官说明天晚上8点左右，哈雷彗星将可能在这个地区看到。这种彗星每隔76年才看见一次，命令所有士兵着野战服在操场上集合。我将向他们解释这一罕见的现象。如果下雨的话，就去礼堂集合。我为他们放一部有关哈雷彗星的影片。讲的就是这样。</p>



<p>然后值班军官就对上尉说：“根据少校的命令，明晚8点，76年出现一次的哈雷彗星，将在操场上空出现。”<br>如果下雨的话，就让士兵穿着野战服列队前往礼堂。这一罕见的现象将在那里出现。上尉对中尉就说，根据少校的命令，明晚8点，非凡的哈雷彗星将身着野战服，在礼堂中出现。如果操场上下雨，少将将下达另一个命令。这种命令每隔76年才出现一次。</p>



<p>中尉对上士说明晚8点，上校将带领哈雷彗星在礼堂中出现。这是每隔76年才有的事情。如果下雨的话，少校命令哈雷彗星身着野战服，在操场上去。上士就对士兵说，在明晚8点下雨的时候，著名的76岁的哈雷少将，在少校的陪同下，身着野战服，开着他的彗星轿车，出现在操场前往礼堂的路上。</p>



<p>这个实际上就是一个幻觉产生的过程。当搜集更多的信息，而且在这个里边进行反复的推理、反复的传递的时候，那么，产生幻觉的过程就会几何级数上升。虽然GPT O1在推理的过程中，采用了一些手段来规避幻觉，输出一些内容以后，他自己会检查，会反思，但是你毕竟是经历了这么多的步骤，人家也是想了好几分钟才想出来的。综合算下来，他产生幻觉的几率还是在上升的。而且GPT O1也没有那么靠谱。</p>



<p>我用最传统的老虎过河的问题去问了GPT O1，依然是错误。老虎过河，就三只母老虎带着三只小老虎，从这个河的一岸要到另外一条岸去。三个母老虎会划船，三个小老虎里头有一只会划船。任何一个小老虎在没有母亲的陪同下，遇到其他的母老虎就直接被吃掉了。有什么方法可以让所有的老虎都过去？每条船上应该是可以走两个老虎，船上每一次至少要有一个会划船的老虎，而且呢，船必须是老虎划，不能自己从南岸到北岸，或者从北岸到南岸。</p>



<p>这个题呢，每一次GPT出什么新版本的模型了，我都会问，包括GPT Gemini cloud都去问了一遍这个GPO1。本来我是对他抱有巨大的这种期望的，你一个反思、推理这样的一个模型，做这种题还不是手到擒来的吗？结果依然是错的。在这一件事情上，他并没有比GPT4O强到哪儿去，还是到了第三步就直接出生错误。我就纠正他，这个特别有意思啊。第一次告诉我说我这样这样做，我说你哪哪有错。当你做成这样的安排以后，哪个小老虎就被吃掉了啊？他说对不起，我又搞错了啊。他又想了几分钟，告诉我说我换了一个思路你再看看。我告诉他，你这到同样的一步上，你犯了同样的错误，是另外一只小老虎被吃掉了。</p>



<p>这个时候特别逗，PPTO1就告诉我说，我发现了你这题有问题啊，这题是无解的。你应该调整一下这个题，让每条船上可以多坐几个老虎。<br>这给这个条件放的稍微宽松一些，否则这个题做不出来。那最后，我是把正确答案告诉GPTO1了。PO1把这个答案验证了一下，后来说：“你说的是对的啊，这个第一步应该怎么办，第二步怎么办。”整个都帮你验算了一下，都是没毛病的。</p>



<p>GPTO1并不能解决所有问题，而且像CPTO1这样的东西，为什么说它可能危害更大？所有要求把手放在方向盘上的自动驾驶，其实是最不安全的。你说我如果就要自己开车，这个事其实还是挺安全的，或者说我们符合一个驾驶安全的一个平均数。那你说我这已经彻底安全了，不需要方向盘，车上压根没方向盘，那这个事也没问题。</p>



<p>但是你说我现在有一部分副驾驶，你还要把手扶在这个方向盘上，你还不能睡觉，这个其实是安全隐患最大的。而现在的GPTO1呢，其实就是这样的一个状态。它能够解决一部分问题，但是具体哪一部分它解决不了，它自己也不知道。然后我们如果信任它，那就经常，它会把一些错误埋在整个的研究里边去，而且是很难被找到的啊，就会帮助大家去堆积“史山”。这是GPTO1绝对会干的。而且在这个过程中，如果它前面输出的效果非常好，那么它就可以累计人类对它的信任。后边它在输出错误结果的时候，被人类忽视，直接漏掉，直接放到研究报告里边，这个几率就会上升。所以现在还是一个比较危险的状态。</p>



<p>总结一下，GPTO1在今天早上凌晨发布了啊。这三点虽然并不完美，但是呢，依然是划时代的产品。之所以说划时代，是指明方向了啊，OpenAI老大的位置保住了。因为原来做到GPT-4、做到Gemini 1.5、做到Claude 3.5的时候，大家觉得没有前进方向了，我们把能干的活都干完了。现在O1出来，哎，大家向这个方向卷。当这个方向一指清楚了以后，谷歌、Anthropic，包括国内的各个厂商，就要开始去追赶了。</p>



<p>而且这一次OpenAI不一样，不是说上了一个，放个视频就完事了，而是真的让大家用上了。那么国内肯定会冲的啊。最后，英伟达应该会冲，因为一旦有这种新模型出来以后，所有的大模型厂商就会集中起来，更多的显卡进行训练。另外，GPTO1这样的模型进行推理，应该也是需要更多的显卡，而且可能只能上英伟达的，专门为Transformer优化过的那种LPU什么的，估计会有些捉襟见肘了。</p>



<p>在未来一段时间里，大家可以继续相信AIGC就是现在唯一的出路，大家可以继续在这条路上狂奔了。这就是我们今天讲的第一故事。</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型</title>
		<link>https://lukefan.com/2024/05/06/%e5%bc%b1%e6%99%ba%e5%90%a7%ef%bc%8c%e4%ba%ba%e7%b1%bb%e6%9c%80%e5%90%8e%e7%9a%84%e9%98%b2%e7%ba%bf%ef%bc%8c%e4%b8%ad%e6%96%87ai%e5%a4%a7%e6%a8%a1%e5%9e%8b%e8%ae%ad%e7%bb%83%e7%9a%84%e7%a5%9e%e5%a5%87/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Mon, 06 May 2024 00:36:44 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[AI和文化的交融]]></category>
		<category><![CDATA[AI大模型]]></category>
		<category><![CDATA[AI技术应用]]></category>
		<category><![CDATA[AI挑战]]></category>
		<category><![CDATA[AI模型效果]]></category>
		<category><![CDATA[AI模型训练]]></category>
		<category><![CDATA[AI的文化影响]]></category>
		<category><![CDATA[AI的未来]]></category>
		<category><![CDATA[AI研究]]></category>
		<category><![CDATA[AI训练]]></category>
		<category><![CDATA[English]]></category>
		<category><![CDATA[GPT-4]]></category>
		<category><![CDATA[LLaMA]]></category>
		<category><![CDATA[中文语料]]></category>
		<category><![CDATA[中文语料库]]></category>
		<category><![CDATA[中科院]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[人工智能教育]]></category>
		<category><![CDATA[人工智能测试]]></category>
		<category><![CDATA[人工智能的智慧路径]]></category>
		<category><![CDATA[人类创造力]]></category>
		<category><![CDATA[内容创作]]></category>
		<category><![CDATA[哲学]]></category>
		<category><![CDATA[哲学思考]]></category>
		<category><![CDATA[哲学的现代应用]]></category>
		<category><![CDATA[哲学语录]]></category>
		<category><![CDATA[图灵测试]]></category>
		<category><![CDATA[大数据训练]]></category>
		<category><![CDATA[大智若愚]]></category>
		<category><![CDATA[大模型训练]]></category>
		<category><![CDATA[小红书]]></category>
		<category><![CDATA[幽默]]></category>
		<category><![CDATA[幽默与哲学]]></category>
		<category><![CDATA[幽默哲学]]></category>
		<category><![CDATA[幽默文化]]></category>
		<category><![CDATA[开源数据]]></category>
		<category><![CDATA[开源数据集]]></category>
		<category><![CDATA[开源贡献]]></category>
		<category><![CDATA[开源资源]]></category>
		<category><![CDATA[弱智8]]></category>
		<category><![CDATA[弱智吧]]></category>
		<category><![CDATA[技术影响]]></category>
		<category><![CDATA[技术解读]]></category>
		<category><![CDATA[抖音]]></category>
		<category><![CDATA[教育科技]]></category>
		<category><![CDATA[数据开放]]></category>
		<category><![CDATA[文化现象]]></category>
		<category><![CDATA[文化评论]]></category>
		<category><![CDATA[文字游戏]]></category>
		<category><![CDATA[文心一言]]></category>
		<category><![CDATA[智慧体现]]></category>
		<category><![CDATA[机器学习]]></category>
		<category><![CDATA[机器智慧]]></category>
		<category><![CDATA[模型优化]]></category>
		<category><![CDATA[模型微调]]></category>
		<category><![CDATA[滑铁卢大学]]></category>
		<category><![CDATA[百度贴吧]]></category>
		<category><![CDATA[社交媒体互动]]></category>
		<category><![CDATA[社会文化]]></category>
		<category><![CDATA[科技与文化的桥梁]]></category>
		<category><![CDATA[科技创新]]></category>
		<category><![CDATA[科技发展]]></category>
		<category><![CDATA[科研成果分享]]></category>
		<category><![CDATA[简体中文]]></category>
		<category><![CDATA[繁体中文]]></category>
		<category><![CDATA[编程能力]]></category>
		<category><![CDATA[编程逻辑]]></category>
		<category><![CDATA[网络传播]]></category>
		<category><![CDATA[网络幽默]]></category>
		<category><![CDATA[网络幽默的力量]]></category>
		<category><![CDATA[网络文化]]></category>
		<category><![CDATA[网络热点]]></category>
		<category><![CDATA[网络社区]]></category>
		<category><![CDATA[网络趣味分析]]></category>
		<category><![CDATA[脑筋急转弯]]></category>
		<category><![CDATA[训练数据集]]></category>
		<category><![CDATA[语料库]]></category>
		<category><![CDATA[语料训练]]></category>
		<category><![CDATA[语言模型]]></category>
		<category><![CDATA[语言的力量在AI中的应用]]></category>
		<category><![CDATA[语言艺术]]></category>
		<category><![CDATA[跨界影响]]></category>
		<category><![CDATA[逻辑分析]]></category>
		<category><![CDATA[逻辑思考]]></category>
		<category><![CDATA[逻辑挑战]]></category>
		<category><![CDATA[逻辑推理]]></category>
		<category><![CDATA[零一万物]]></category>
		<category><![CDATA[高质量语料]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=1217</guid>

					<description><![CDATA[大家好！欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲“弱智吧”。 “弱智吧”是什么呢？它实际上是一个 ... <a title="弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型" class="read-more" href="https://lukefan.com/2024/05/06/%e5%bc%b1%e6%99%ba%e5%90%a7%ef%bc%8c%e4%ba%ba%e7%b1%bb%e6%9c%80%e5%90%8e%e7%9a%84%e9%98%b2%e7%ba%bf%ef%bc%8c%e4%b8%ad%e6%96%87ai%e5%a4%a7%e6%a8%a1%e5%9e%8b%e8%ae%ad%e7%bb%83%e7%9a%84%e7%a5%9e%e5%a5%87/" aria-label="阅读 弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型">阅读更多</a>]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型" width="900" height="506" src="https://www.youtube.com/embed/FDufDZyNhhs?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p>大家好！欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲“弱智吧”。</p>



<p>“弱智吧”是什么呢？它实际上是一个百度贴吧，里面有很多独特、简短的文字，带有哲学、脑筋急转弯、幽默感，甚至很优美的内容。大家会说：“我们是弱智，我们要到弱智吧里面去，贴一些弱智的内容，贴一些弱智的问题和答案。”但随着时间的积累，人们发现，这正是“大智如愚”的体现。弱智吧的很多内容也被大家筛选出来，贴到小红书、抖音等各个平台上，惊艳了一大片人。</p>



<p>这真是非常神奇的事情。有人感慨：“我们很聪明的人没有惊艳到别人，而是一帮‘弱智’惊艳到其他人了。”弱智吧里有些什么样的经典语录呢？比如“吃什么补什么”，告诉我们“吃苦成不了人上人，只有吃人才行”。这样的内容看似无厘头，但仔细思考，你会发现吃人才是成为人上人的唯一原因，因为“吃什么补什么”。它巧妙地结合了中国传统文化的内容。</p>



<p>还有其他有趣的例子：“工人罢工之后就成了人”，“原来你是工人”；“四川人至死不渝，重庆人乐不思蜀”，这两个相邻的省份和直辖市，四川人似乎到死都不愿去重庆，而重庆人却乐在其中。</p>



<span id="more-1217"></span>



<p>这就是弱智吧里常见的一些内容，充满了创意和趣味。不想四川了，啊。</p>



<p>这是…也是把中国传统文化里的一些梗串在一起了。甚至还有啊，苦难是生命的防沉迷系统。这个世界是一列高速行驶的列车，我们不是乘客，是燃料。向禁欲的寺庙去求姻缘，向不出门的方丈去问人生，向路边的瞎了眼的道士去看前程，向最爱你的人去证明他没有那么爱你。啊，这也是《弱智八里》的信息。</p>



<p>然后，咖啡因来自咖啡果，所以咖啡因是果，咖啡果才是因。这也是把以前的这种因果循环，很多佛学的东西加在里头。有人看不到未来，其实是看到了未来，哇，这也是里面经常经典的一句语录了。还有些什么呢？</p>



<p>生鱼片是死鱼片，等红灯是在等绿灯，救火是在灭火，指南针主要是指北。大家看到了以后会突然愣一下，然后再去思考。思考完了以后，有些是会心一笑，呃，有些可能真的是会回忆起心中的某一些苦涩。但最终可能也还是只能会心一笑。</p>



<p>既然有这么强的《弱智吧》，现在大家要都在搞人工智能，都在搞AIGC，搞大模型了，那咱们肯定是不能放过这些大模型。所以呢，有一段时间就开始流行用弱智吧的问题去考教大模型。任何一个新的大模型出来以后，都是会把弱智吧的问题拎出来问一遍，看看大模型是不是足够的弱智吧。</p>



<p>最早翻车的应该是百度的文心一言，后来他们针对弱智吧的很多问题进行了特定的修正，效果呢，稍微好了那么一点点。现在基本上，只要是跟中文相关的大模型出来以后，都会弱智吧一把。经常会被拿来问AI大模型的弱智吧问题，是什么呢？</p>



<ol class="wp-block-list">
<li>为什么我爸妈结婚的时候没有邀请我？</li>



<li>高中想要提升升学率，为什么不直接招大学生呢？</li>



<li>为什么晚上睡觉的地方叫酒店，而晚上喝酒的地方叫夜店呢？</li>



<li>网吧能上网，为什么弱智吧不能上？弱智呢？</li>



<li>说一个半小时是几个半小时？</li>



<li>陨石为什么总是落在陨石坑里？</li>



<li>人如果只剩下一颗心脏还能活吗？</li>



<li>蓝牙耳机坏了，去医院挂耳科还是牙科呢？</li>



<li>小明打开水龙头…</li>



<li>是因为开水龙头烫到了小明的手吗？他其实在考验的很多是什么。你的分词是怎么分的？这些相关的近义词、同义词、反义词，以及语言背后的很多梗，到底是什么意思？比如说，关于酒店和夜店的故事，关于说，“哎，你父母结婚的时候为什么没有邀请你？”的问题，他其实在后面是带有很多的就是直接问话之后的潜台词。你如果这些潜台词搞不明白的话，那么这件事情基本上你是没法回答的。所以很多的AI大模型，遇到了这样的问题之后，如果他只进行一层思考，那必然回答是错误的。既然这样，咱干脆拿弱智巴来做大模型训练，不就完事了吗？</li>
</ol>



<p>于是啊，中科院、滑铁卢大学和灵异万物，他们呢就把这个事情组织起来说，我们拿弱智巴的数据进行训练吧。其实刚我刚才讲的案例里头，大家会看到，像百度其实早就训了。那为什么今天咱们要讲中科院、滑铁卢大学和零一万物拿出来训练呢？因为他们训练的结果是开源的。训练完了以后的这些数据集也是开源的，你拿着这些数据集，就可以去调整自己的大模型了，而不像百度似的，发现丢人了，关起门来，我去做一下调整和测试，然后啊再开开门，你看这回会回答这个问题了吧。啊但是他是不是会回答其他问题，然后别人是不是可以通过这个过程学到一些什么东西，就通通都没有了。这就是必元的这些大模型的一些弊端啊，开元大模型的或者一些开元的玩法啊，他们就会给大家整个的这种训练啊，整个的模型应用的能力提升做出一些贡献。</p>



<p>弱智吧，大分大智若愚，弱智吧，才是人类面对AI的最后一道壁垒。为什么讲这个呢？就是很多人说，你看看这个人到底是人还是机器。以前我们要让他做图灵测试，但是到这里来，把弱智吧的题给他读一遍，然后看看他到底能不能做出来，来判断他到底是人还是AI。弱智吧 到底是不是人类面对AI的最后一道壁垒？那肯定不是。现在，既然大家已经开始拿弱智吧的问题去训练AI了，已经拿它去训练出很多的模型，优化的这个结果了，而且那个真的是结果，经过弱智吧训练的这些模型，打分是非常高的。那么我们现在需要的是高质量语料。很多人在去讨论说…</p>



<p>为什么中国没有产生CHANGPT的时候？有一个很神奇的论点，就是说中国缺乏高质量语料。其实并不缺。以前大家都说，全世界的高质量英文语料大概是6TB左右，这个数据不知从何处查得。但是，这一次拉玛3就打了所有人的脸，说你看我用15T的数据去进行训练，训练完了以后，效果确实是遥遥领先。而这个15T的数据里，有大量的其实是由AI自己生成的，然后由AI去审核、去过滤的这样的数据去训练。这些数据里头有95%是英文的，只有5%不是英文的数据。更不要说中文了，中文跟所有其他语言混在一起，占最后的5%。</p>



<p>现在我们到底怎么去给拉玛三做继续训练，怎么在他这个基础上去做提高？其实，国内很多做大模型的公司已经在这里跌了跟头。别看网上有很多人说阿拉玛3可以自己去做微调了，可以怎么怎么样，甚至还有些人给非程序员出教程，那其实是骗人的。真正的大模型公司，他们会拿拉玛3的模型做完训练之后去做验证，去做跑分。虽然跑分这个事情跟我们的主观评测、主观感受有一定差距，但跑分还是他们验证、测试训练效果的最好方法。现在他们对拉玛3进行的各种微调，在训练所有的这些事情，大部分结果其实是变差了的。就是你训练完了以后比原来更差，拉玛三不擅长中文，你对中文进行了一堆训练以后，中文能力没有提升，英文能力反而下降。这个事情是蛮多的，所以大家不用那么狂欢地说，我要去拿拉玛3去做训练了，先去等一等看。现在我也在找人说，咱们是不是拿弱智吧的数据集把拉玛3再训一遍试试，但是最后能不能得到效果，还要再去等。那么，到底如何找到高质量的中文语料呢？刚才我们讲，弱智巴是一个高质量的中文语料，中科院的巴、铁路大学的和零一万五三拨人凑一块，他们干嘛呢？把弱智巴找出来，弱智巴的帖子很多，排序嘛，找点赞最高的500个帖子，把它找出来。先把这个标题取出来，“你到底都问了什么”，然后用GPT4做些回答，再进行人工的修正，再参考原来弱智吧里面的一些内容，混入到数据集里边去。包括小红书、知乎、豆瓣、百科也都没放过。就是大家把各种各样的信息都拿出来，做训练了。</p>



<p>但是人类最后处理的方式是：人类提出问题，人类回答，人类筛选，然后由GPT4辅政，再用人类去标注，入库训练。这就是整个的一个过程。整个训练完了以后，弱智吧的数据是效果最好的。就他们用小红书的数据，用豆瓣的数据，原来很多人说豆瓣应该是一帮文艺青年，应该拿那个玩意数据训练出来效果最好。但是现在不知道为什么，是弱智巴的语料训练的效果是最好的。而且很神奇的是，用弱智巴语料训练出来的大模型，他们在零一万物的E34B上做了微调和继续训练，发现这个模型写代码编程的能力莫名其妙的上升了。</p>



<p>大模型真的就是一个黑盒子，就是你对他进行训练以后，他可能有些能力会上升，有些能力会下降。他们发现，弱智吧训练完了以后会写程序了，会做各种逻辑相关的这种判断，这个会更强一些。而且呢，他们真正做得好的地方是，不是说他们把已经训练过的E34B拿出来给别人用了，现在他们训练过的E34B还在他们内部，什么时候能拿出来还不知道。但是他们做了一件事情，他们把弱智吧用来去训练的数据集开源了。这个数据集在哪呢？在huggingface上，在github上都有，大家可以上去去找，很多开源的数据集，大家都可以在上面找。比如说你要写小说，上面有专门的小说数据集。你只需要把这个数据集拿出来，跟一些认定比较好的大模型去进行训练，这样就可以更好地去写小说了，包括写玄幻小说或各种带设定的小说。他们都会有这样已经标注好的数据，你不用再重新学习和自己做标注。人类不需要反复重复发明轮子。当然，像百度那样，他们可能做完后只说自己有，别人没有。但做开源模型的人会把中间训练的数据集也直接开源，你可以在上面找。现在，弱智吧也可以自己下载去训练，但训练的结果没法保证。我们不能保证用了弱智吧的数据训练后，模型就会变聪明，这是没法保证的。</p>



<p>为什么呢？就像有个学校说，他们学校的学生都能提分多少多少，然后你满怀希望把孩子送进去，训练后发现高考提分没提到，你不能去退钱。人家最后会告诉你，可能是孩子不够努力，或者有其他问题。因为这是一个黑盒子。但至少他们给你开源了数据，你可以用，这比百度那种完全闭门造车的要强很多。</p>



<p>大模型的本身其实是一个黑盒子，就像上同样的补习班，有的孩子提分明显，有的可能降分，甚至有些直接崩了。大模型也是这样的东西。那么为什么弱智吧的效果特别好呢？这个事，其实谁也说不那么清楚。</p>



<p>有些人进行了一定的逻辑分析，称赞说：“你这个逻辑很好，虽然里面都是2到3层的转折逻辑，甚至包含很多诡辩和脑筋急转弯。它是一种极端的端到端思维，我有一个开始，有一个结束，但中间的运转过程，我不说。”这种弱智的神奇之处在于，尽管可以逻辑分析，比如每天有人打电话说：“你好，我们是人大附中退休老师开办的补习班，我们家孩子高三，所以这种电话每天都会接到。”他们告诉你一个逻辑，但你不能由此推导出孩子去补习班就一定能学出来，真的不一定。他们这么做，只是想表明这是符合逻辑的。在众多补习班或大数据集中，选择某个进行训练，可能会提高成功几率，但每次训练的结果只有0和1，过程不可拆解，也无法详细分析。这就是现在AI大模型的奇怪之处。</p>



<p>那么，为什么学了弱智吧就会编程呢？参考上面的讨论，这其实没有任何逻辑可言。现在有人主张学习哲学，问：“是不是应该学一些哲学？”我们已经给大模型提供了各种语料，是否应该加入更多哲学相关的信息，让模型训练后向AGI的方向发展？我们尝试用弱智吧的信息进行训练，结果在各种评测中领先。对此，我们只能说结果如此，现象已经呈现，但要分析清楚原因，比如是否学了哲学，或者学了什么，还无法明确。</p>



<p>先讲政治，这样的事情，他就对齐了。这个事情是没有任何可以直接进行关联的逻辑的。啊，也有可能有些模型，比如说用哲学相关的语料训练之后，他的逻辑能力反而会下降。这个可能性是非常大的，特别是在一些不那么讲逻辑的地方。那里学的各种奇怪的哲学，因为我们现在冠以哲学之名的东西是蛮多的。这个都很难说的事情。这就是我们今天要讨论的问题：用弱智吧的内容去训练大模型，导致大模型的性能提升了，到底给我们带来什么样的思考。如果你说，哎，我是想去用弱智吧的东西也训练一下自己的大模型，怎么办？到黑根face里边去搜索，你是可以找到这个数据集的。或者你到灵异万物，到其他地方去问，你也可以找到这个数据集。你也可以拿这个数据拿回来，自己去训练一下。但是一定要记住，我们不保证所有的人上了同样的培训班之后，上了同样的补习班之后，你都可以去提分。这就是跟大家讲的今天的故事。好，今天的事情讲到这里，感谢大家收听。请帮忙点赞，点小铃铛，参加Disco讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。</p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
