<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>AI模型训练 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<atom:link href="https://lukefan.com/tag/ai%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83/feed/" rel="self" type="application/rss+xml" />
	<link>https://lukefan.com</link>
	<description>这里是老范讲故事的主站，持续更新 AIGC、大模型、互联网平台、商业冲突与资本市场观察，帮你看清热点背后的底层逻辑。</description>
	<lastBuildDate>Tue, 16 Jul 2024 00:44:35 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.0</generator>

<image>
	<url>https://lukefan.com/wp-content/uploads/2026/03/cropped-jimeng-2026-02-28-5245-用图一的人物形象，替换图二中的人物，使用图二的风格。文字替换：老范讲故事，Yo-32x32.jpeg</url>
	<title>AI模型训练 &#8211; 老范讲故事｜AI、大模型与商业世界的故事</title>
	<link>https://lukefan.com</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>CharacterAI，赛博伴侣，即将倒下。科学家，全域AI创业，为什么就这么难呢？面对中国AI伴侣程序的竞争，寻求收购，才是正确的退出方式。</title>
		<link>https://lukefan.com/2024/07/16/characterai%ef%bc%8c%e8%b5%9b%e5%8d%9a%e4%bc%b4%e4%be%a3%ef%bc%8c%e5%8d%b3%e5%b0%86%e5%80%92%e4%b8%8b%e3%80%82%e7%a7%91%e5%ad%a6%e5%ae%b6%ef%bc%8c%e5%85%a8%e5%9f%9fai%e5%88%9b%e4%b8%9a%ef%bc%8c/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Tue, 16 Jul 2024 00:44:21 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[AI产业发展]]></category>
		<category><![CDATA[AI产品市场化]]></category>
		<category><![CDATA[AI伴侣]]></category>
		<category><![CDATA[AI伴侣未来发展]]></category>
		<category><![CDATA[AI创业]]></category>
		<category><![CDATA[AI初创公司]]></category>
		<category><![CDATA[AI商业化]]></category>
		<category><![CDATA[AI市场前景]]></category>
		<category><![CDATA[AI应用]]></category>
		<category><![CDATA[AI技术]]></category>
		<category><![CDATA[AI模型训练]]></category>
		<category><![CDATA[AI研发]]></category>
		<category><![CDATA[AI行业收购]]></category>
		<category><![CDATA[AI行业趋势]]></category>
		<category><![CDATA[AI陪聊工具]]></category>
		<category><![CDATA[Character AI]]></category>
		<category><![CDATA[Facebook]]></category>
		<category><![CDATA[Meta]]></category>
		<category><![CDATA[X.AI]]></category>
		<category><![CDATA[上市公司并购]]></category>
		<category><![CDATA[上瘾问题]]></category>
		<category><![CDATA[中国AI应用]]></category>
		<category><![CDATA[互联网产品]]></category>
		<category><![CDATA[互联网创业]]></category>
		<category><![CDATA[产品推向市场]]></category>
		<category><![CDATA[伦理问题]]></category>
		<category><![CDATA[全栈AI]]></category>
		<category><![CDATA[全栈选手]]></category>
		<category><![CDATA[创始人]]></category>
		<category><![CDATA[创新创业]]></category>
		<category><![CDATA[初创公司生存]]></category>
		<category><![CDATA[变现能力]]></category>
		<category><![CDATA[名誉权]]></category>
		<category><![CDATA[商业化瓶颈]]></category>
		<category><![CDATA[商业策略]]></category>
		<category><![CDATA[大模型]]></category>
		<category><![CDATA[小模型]]></category>
		<category><![CDATA[市场竞争力]]></category>
		<category><![CDATA[市场退出]]></category>
		<category><![CDATA[市场退出机制]]></category>
		<category><![CDATA[并购]]></category>
		<category><![CDATA[广告投放]]></category>
		<category><![CDATA[微调模型]]></category>
		<category><![CDATA[心理依赖]]></category>
		<category><![CDATA[情感类AI]]></category>
		<category><![CDATA[情感陪聊]]></category>
		<category><![CDATA[技术伦理]]></category>
		<category><![CDATA[技术创业]]></category>
		<category><![CDATA[技术创新]]></category>
		<category><![CDATA[投资人]]></category>
		<category><![CDATA[投资风险]]></category>
		<category><![CDATA[数字助手]]></category>
		<category><![CDATA[数据安全]]></category>
		<category><![CDATA[数据隐私]]></category>
		<category><![CDATA[未来AI]]></category>
		<category><![CDATA[极限投放]]></category>
		<category><![CDATA[模型升级]]></category>
		<category><![CDATA[法律困境]]></category>
		<category><![CDATA[海外竞争]]></category>
		<category><![CDATA[游戏变现]]></category>
		<category><![CDATA[版权问题]]></category>
		<category><![CDATA[用户体验]]></category>
		<category><![CDATA[用户依赖]]></category>
		<category><![CDATA[用户保护]]></category>
		<category><![CDATA[用户数据]]></category>
		<category><![CDATA[科学家创业]]></category>
		<category><![CDATA[科学家创业失败]]></category>
		<category><![CDATA[科学家创业特质]]></category>
		<category><![CDATA[科技伦理]]></category>
		<category><![CDATA[科技创业失败原因]]></category>
		<category><![CDATA[科技创新]]></category>
		<category><![CDATA[科技行业]]></category>
		<category><![CDATA[细节设计]]></category>
		<category><![CDATA[终极用户体验]]></category>
		<category><![CDATA[肖像权]]></category>
		<category><![CDATA[股票收购]]></category>
		<category><![CDATA[虚拟角色]]></category>
		<category><![CDATA[虚拟角色聊天助手]]></category>
		<category><![CDATA[谷歌]]></category>
		<category><![CDATA[谷歌AI]]></category>
		<category><![CDATA[赛道竞争]]></category>
		<category><![CDATA[隐私政策]]></category>
		<category><![CDATA[青少年使用]]></category>
		<category><![CDATA[青少年保护]]></category>
		<category><![CDATA[青少年用户]]></category>
		<category><![CDATA[风险投资]]></category>
		<category><![CDATA[马斯克]]></category>
		<category><![CDATA[马斯克AI]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=1406</guid>

					<description><![CDATA[大家好，欢迎收听老范讲故事YouTube频道。今天，咱们来讲一讲AI伴侣，就要倒在黎明前的黑暗之中了。咱们讲的 ... <a title="CharacterAI，赛博伴侣，即将倒下。科学家，全域AI创业，为什么就这么难呢？面对中国AI伴侣程序的竞争，寻求收购，才是正确的退出方式。" class="read-more" href="https://lukefan.com/2024/07/16/characterai%ef%bc%8c%e8%b5%9b%e5%8d%9a%e4%bc%b4%e4%be%a3%ef%bc%8c%e5%8d%b3%e5%b0%86%e5%80%92%e4%b8%8b%e3%80%82%e7%a7%91%e5%ad%a6%e5%ae%b6%ef%bc%8c%e5%85%a8%e5%9f%9fai%e5%88%9b%e4%b8%9a%ef%bc%8c/" aria-label="阅读 CharacterAI，赛博伴侣，即将倒下。科学家，全域AI创业，为什么就这么难呢？面对中国AI伴侣程序的竞争，寻求收购，才是正确的退出方式。">阅读更多</a>]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="CharacterAI，赛博伴侣，即将倒下。科学家，全域AI创业，为什么就这么难呢？面对中国AI伴侣程序的竞争，寻求收购，才是正确的退出方式。" width="900" height="506" src="https://www.youtube.com/embed/DnsdrpGXpps?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p class="wp-block-paragraph">大家好，欢迎收听老范讲故事YouTube频道。今天，咱们来讲一讲AI伴侣，就要倒在黎明前的黑暗之中了。咱们讲的AI伴侣是什么呢？是Correct点AI，这是现在欧美最流行的情感类AI陪聊工具。这呢，是一个科学家创业的项目。两个创始人，原来都是谷歌的科学家，算是AI的全站选手。什么叫全站选手？像我们讲全栈工程师，就是说你从后端到中间的中台，再到前端，你程序一个人全写了。AI呢，也是这样。你说我只会写前端啊，我不会训大模型，我用别人的模型，对吧？那你是做AI应用的啊。有些人说我就会训大模型啊，前端应用不会做啊，那你算后端。但Correct AI呢，算从前到后全是他自己的啊，模型也是自己训的，前面的整个的应用层，也都是他自己搭的。这个在现在的AI创业中，算是比较难得一见的吧。</p>



<p class="wp-block-paragraph">他们呢，专门提供情感陪伴类的AI聊天助手啊。像有些AI聊天助手就是搜索用的啊，有些是助理类型的，我给你写个文字啊，给你画个画啊啊，还有一些呢，就是我可以有这种角色扮演，可以聊个天的，比如说你进去说我想跟伏地魔聊聊啊，我想跟哈利波特聊聊，或者我想去跟埃隆马斯克聊一聊啊，他专门干这个事。从用户数据来看呢，这个项目做的还是不错的啊，用户量也很大，大家也很喜欢。只是呢，从商业和现金流的角度上来说，打不正对吧。这个项目一直在赔钱啊，亏了很多钱，再融资也有些难度啊，所以现在他可能快要玩不转了。像类似这样的。</p>



<span id="more-1406"></span>



<p class="wp-block-paragraph">虚拟角色聊天助手的应用确实面临着一些法律和伦理困境，尤其是涉及到版权、肖像权和名誉权的问题。当应用中使用知名人物或文学角色时，必须考虑到这些角色背后的版权问题。例如，使用“哈利波特”或“伏地魔”这样的角色，就需要获得相关版权持有者的授权；同样，使用真实人物如埃隆·马斯克的形象和名字，也必须尊重其肖像权和名誉权，避免不当使用导致的法律纠纷。</p>



<p class="wp-block-paragraph">为了规避版权和名誉权的问题，一些应用选择在生成的内容中明确标注，告知用户这些内容是AI生成的，而非真实人物的言论，以此来降低法律风险。然而，这种做法可能会降低用户的代入感和应用的吸引力，影响用户体验和应用的市场竞争力。</p>



<p class="wp-block-paragraph">此外，道德感和羞耻心也是虚拟角色聊天助手应用需要考虑的重要因素。由于这类应用面向广泛的用户群体，包括未成年人，因此必须确保内容的适宜性和道德性，避免涉及成人内容或不当言论，否则可能在应用商店上架时遇到障碍。尽管谷歌和苹果等平台允许成人应用的存在，但通常要求开发者明确标注应用的年龄限制，并对内容进行严格审查，以符合平台的政策和标准。</p>



<p class="wp-block-paragraph">综上所述，虚拟角色聊天助手的应用在追求创新和用户体验的同时，也必须遵守相关法律法规，尊重版权和名誉权，以及保持良好的道德标准，以确保应用的合法性和可持续发展。</p>



<p class="wp-block-paragraph">但是，不能太过分啊。第三个是什么呢？上瘾和情感依赖的问题啊。因为像这种，就是有人愿意一天24小时，不知疲惫的陪人聊天啊，很好的倾听者。对于很多年轻人来说，对吧，他很容易上瘾啊。这是所有的这种聊天的工具，他都会有问题。特别是这种角色扮演，情感陪伴啊，更容易干这种事情。而且呢，一旦上瘾了以后啊，他们用叫情感依赖这个词，比上瘾好听一点啊。玩不好会干嘛？会自杀，类似这种应用，在欧洲是出现过自杀案例的啊，在美国呢？没有听说过，有可能也是存在。所以，这也是一个很麻烦的事情。咱们呢，刚才讲了，很多青少年爱玩这个东西啊，他的整个的用户，青少年的比例非常高。这个呢，是一把双刃剑啊。什么叫双刃剑？青少年比例高，说明这些人随着年龄的增长，你的用户量会自然增长啊。也不能说我长到哪一天就突然不用了。TikTok为什么厉害？就是他的用户年纪小嘛，随着这些用户不断的长大，他的用户会不断的积累下来。这些用户长大了以后，会把后边一些，就是原来成年人玩的这些应用，就给直接给覆盖掉了。人家原来成年人玩Facebook啊，年轻人玩TikTok。这个年轻人长大了以后，他接着玩TikTok，他不会跑去玩Facebook的。那Facebook的用户量就会下降啊，他的用户量会上升。这是一个好的点啊。那坏的点是什么呢？年轻人是没有支付能力的，他没有信用卡。你在欧美，你一个没有信用卡的人，他的这个支付啊，包括很多广告变现都会很麻烦。</p>



<p class="wp-block-paragraph">当你给年轻人打广告时，你就要注意，我这个广告是适合年轻人看的，适合未成年人看的。这广告商也不愿意在这个里边投入太多的精力。你挣不出钱来嘛，所以这是一个恶性循环。有好处有坏处。</p>



<p class="wp-block-paragraph">最后一个问题是什么呢？就是AI伴侣的一个事情。它比较私密，对吧？裂变比较困难。什么意思呢？就是男女朋友谈了半天，你不能天天跟别人说去吧，每天去发朋友圈，发推特，说我跟他说什么了，他给我回什么了。不能说完全没有这样的人啊，但是大概率是在很小的范围内啊，跟闺蜜说一下。那么，当这个事情变成一个更私密的事情以后，人传人的这种传播就不那么容易了。现在呢，Character AI的很多内容吧，在Reddit里头有一定的传播，但是呢，也不是非常多的人去看。</p>



<p class="wp-block-paragraph">那么现在凯瑞特AI说，嗯，不行了啊，我前头虽然融了1亿多美金啊，也估值上10亿了啊，也是独角兽了。现在呢，这个钱我也花完了，还欠了人1亿多在募资，募不到了。挣的钱呢，也补不上这窟窿。他呢，是靠9.99美金一个月的这种方式去盈利的啊，这跟我收的会员费是一样多的啊。这样的啊，说实在是无法以为继了。那怎么办呢？啊，看看哪个巨头把我们收了吧。对吧，我们好歹算是这个特定赛道里的冠军啊，他跑得最快。</p>



<p class="wp-block-paragraph">这个呢，其实很符合科学家创业的一个啊，这种特色。什么意思呢？就是每个领域开始的时候啊，都有非常多的科学家去创业啊，包括广告领域开始的时候，包括云计算，包括啊AI前面的VR AR啊。</p>



<p class="wp-block-paragraph">就每一个大的互联网领域开始说，咱们都去创业吧。啊，第一批出来创业的都是科学家，因为什么呢？他们手里有技术，对吧。但是，最终活下来的科学家很少。你想，什么人出来创业啊？科学家、销售，对吧，然后或者是有些投资人，有些产品经理，啊，这些人都会出来创业，啊。我我见过最奇葩的是HR出来创业，啊，这个也不是没有，啊，财务也有出来创业的，啊。但是，科学家出来创业，一般是在一个创业领域里的第一步，啊。那为什么最后他们活下来的少呢？就是在商业方面，啊，他们的探索呢，通常会缺乏想象力，啊，就这些人。你说，让他研究一个什么东西，没毛病，啊。但你说，你这个生意到底怎么做，稍微的难那么一点点，或者说吧，咱们用这个比较通俗的话来讲，科学家呢，通常不够无耻，实感比较高。你做生意这件事，你就不能去嫌弃，说哎，这个事是不是不太道德，那个事是不是不太道德啊？咱不是说做生意都脏，啊，咱举这样一个例子吧。比如说大师傅做饭，你觉得这是一个多干净的活吗？你到厨房里去看看，对于他们来说，很多人家下得去手的事情，咱们自己是下不去手的。给你只鸡，你去把他杀了，或者说一堆这个很脏的这种碗碟，搁那让你去刷去，咱们很多人下不去手。这个就是术业有专攻，啊，科学家在这呢，很多也是这样的，脱不了鞋，没法光脚在地上跑，也很多事情下不去手。而且，科学家呢，有的时候啊，会缺乏跟底层需求的情感共鸣。而这什么意思呢？就是原来咱们讲叫得屌丝者得天下嘛。你问科学家说，屌丝现在想什么呢？</p>



<p class="wp-block-paragraph">他不开心了，怎么办？那科学家没准想一想，说：“哎，不开心了，可以去做一道数学题吧。”这个可能性是存在的啊。就是我们跟一些科学家也打过交道，他们其实比较难以理解底层群众的思想诉求啊。虽然 Character AI 可能并没有出现这种问题啊，它呢，主要问题还是商业化做的不是那么好。而且科学家呢，很多时候，他创业的目的就是被收购。他并不是说我自己要做一家伟大公司，就是说我做到一定程度，把它卖了，挺好的。这是啊，Character AI 的第一个问题——科学家创业。</p>



<p class="wp-block-paragraph">它第二个问题是什么呢？就是全栈 AI。刚才咱们讲了，他从头到尾自己都做。这不是本来挺好的一个事吗？啊，很多人听了这个解释之后都觉得：“哎呀，这个可值钱了。人家呃大模型也是自己训练的，这个应用也是自己做的啊，全面选手啊，这多棒啊。”啊，千万别这么想啊。在 AI 创业里头啊，做这种全栈 AI 其实挺吃亏的。为什么呢？你要想跟上其他这种日新月异的大厂，大模型你花不起这个钱呀。对吧，你说我想跟这个美坦拉玛2，我想跟着他一起进步啊，拉玛2升级到拉玛3啊。我现在把这个 Karate AI 后边的大模型，我也想跨上这个台阶，往上升这个级。扎克伯格买了多少显卡，50万块他买的起吗？他总共就融了一点几亿美金，再借了1亿美金，他玩得起吗？他玩不起这个东西。</p>



<p class="wp-block-paragraph">那你说我想去追一下克劳德，克劳德后边是亚马逊，是谷歌都给了钱了。而且现在克劳德估计也快混不下去了。现在亚马逊跟谷歌，据说在竞购这个公司。</p>



<p class="wp-block-paragraph">就把它买下来算了啊。你们甭自己混了。你说一个 Carrot AI，就这个一两亿美金，你搞个啥？那你说跟 X AI 跟马斯克比，马斯克人家也是募了很多钱，然后买了上 10 万块的 H100，然后等着去模型呢。这个事情呢，对于这种做全栈 AI 来说，他就很吃亏了。</p>



<p class="wp-block-paragraph">下面呢，我们要思考一个小问题，是什么呢？就是专业训练和微调的小模型，与这种快速迭代升级，加入 AI 阵特大模型比起来，到底哪个好使，哪个更能打。像 Carat AI，它不需要设计那么大的模型啊，几千亿几万亿的参数模型。而且国内的很多做大模型创业的，这些创业者都在跟大家讲，说不要去追求什么几千亿几万亿，好使就行，能用就行。</p>



<p class="wp-block-paragraph">大家有没有想过，国内这帮人为什么讲这事？因为他做不出来这种几千亿几万亿的模型了啊，他只有能力做到几十亿几百亿，就能到这个水平了。他就告诉你说啊，这个就够了，你不用再往前走了。咱们来想想啊，我们去微调一个小模型啊，跟一个大模型加上流程管理的 AI 阵特去一起工作，到底谁强谁弱。</p>



<p class="wp-block-paragraph">咱们讲这样一个故事吧，卖油翁，这个可能很多人小时候学课文都学过。人家说啊，为首熟耳，一个油葫芦上头放一个铜钱，然后呢把这个油夸夸倒进去，一滴都不撒在外边，很厉害吧。哎，小模型就擅长干这个事，在他某一个特定领域里头哎，把这个油夸夸倒进去了，没毛病啊，他能干这事。但是呢，你说我们再去玩一个什么呢？辕门射戟啊，这个是三国演义里头吕布干的活啊。</p>



<p class="wp-block-paragraph">你说这不也是个小把戏吗？对了，大模型呢，他能干辕门射戟，也能够去干这种卖油翁的活。但是呢，小模型呢，只能干卖油翁，他干不了圆门设计。这差别在哪呢？对于卖油翁来说啊，把这个油倒在这个铜钱中间的洞里，就已经是他的全部了。而对于吕布来说呢，这个辕门射戟算是一个鱼性小节目啊，给大家表演一下，哈哈一乐就完了。人家还是可以骑上赤兔马，去让方天画戟四处杀来杀去的，这个是人家的真本事。所以呢，这就是大模型跟小模型之间的差异。你说哎，我永远只让他做卖油翁，小模型未必不能使啊。但你说我希望他稍微的再聪明一点，还能干点别的，哈哈那您老老实实上大的啊。这也是为什么我选模型的时候，有大的不选小的的一个原因。国内呢，是因为做不出大的来啊，所以老去建议大家玩小的，玩小的就够了。最终活下来的呢，通常不是这种说全站AI，而是什么呢？而是术业有专攻。你拆了PPT，你去把后边大模型做好啊。谷歌你把后边大模型做饱做好啊。Cloud把大模型做好。这就是预三家嘛，算大模型预三家：Ancepoic、Open AI和谷歌三家啊。剩下的呢，可能还有一个，算三个半吧。这半个是谁？梅塔的拉玛3，这算半个，或者叫拉玛山及其身后的开元小伙伴们，算是另外一支吧。所以基本上就是这么两大流派，就这么几个公司。你们把大模型做好完事了。剩下的呢，这个我们就去做应用啊，我们就去做这个前端陪你聊天，这个APP不就完事了吗？啊，这个可能才是未来啊。</p>



<p class="wp-block-paragraph">这是一个关于行业内部常见的收购和出售策略的讨论。</p>



<p class="wp-block-paragraph">这个行业里头比较普遍的玩法，下边咱们就要去讨论一下了。准备卖给谁啊？你都准备卖了啊。当然，我要跟大家讲，其实他现在的状态并没有那么好。状态好是什么？哎，谁都不知道。咔嚓一把卖了，直接宣布谁谁买了，花多少钱买了啊。这是状态比较好的。</p>



<p class="wp-block-paragraph">如果上来说，哎，我准备卖了，谁要买我，谁要买我。这个呢，就已经稍微的危险一点了。什么意思？就是你等于已经把第一轮的，这种秘密询价，或者底下这种啊谈判的这个过去了，效果并不好。然后才出来说，哎，我谁要买我，谁要买我。</p>



<p class="wp-block-paragraph">像我们以前经历过一次，我在波兰的时候干过一回这事。当时呢，想把开发工具卖掉啊。CEO就出来说啊，我要卖了啊，没找好下家呢，出来喊卖了。一年没卖掉，因为一开始很多人上来，夜长梦多嘛，大家各自有各自的诉求，最后达不成一致啊，没有卖成功。</p>



<p class="wp-block-paragraph">没有卖成功怎么判呢？裁员啊。这个为什么没有卖成功裁员呢？因为当时我们上市公司啊，向纳萨克说了我们要卖啊。到年底没卖出去呢，算放脚假消息啊。你不裁员的话，纳萨克会给你发名牌警告的啊。这是我原来亲身经历。</p>



<p class="wp-block-paragraph">所以，这种卖最好的就是谁都不知道，偷偷跨一把把它卖掉了，然后直接宣布。所有说我要卖了，没卖出去的，都要小心一点。</p>



<p class="wp-block-paragraph">第一个有可能买的呢，就是谷歌。谷歌算是有一个优良传统，什么优良传统呢？在谷歌上班，上班的时候呢，就开始思考创业的事情。想明白了，从谷歌离职去创业，甚至谷歌还给钱啊。创业到一定程度以后，谷歌再把你收购回来。</p>



<p class="wp-block-paragraph">再回谷歌上班，再上一段时间班呢，再创业啊，这是谷歌人的一个小传统。第二个呢，就是卖给梅塔Facebook。梅塔扎克伯格呢，是相对来说，比较喜欢买买买的一人啊。他你看，Instagram，WhatsApp，Oculus都是花钱买回来的，而且都是这种啊，十几亿几十亿美金往回买啊，所以他比较爱干这个活。Cracked AI跟美坦呢，它的业务上和用户上，协调性也是比较高的。对比说我现在想到个源宇宙里头，就跟人聊个天哎，但我这头哎，有Karat AI做的所有的这种带人设的虚拟角色，这多好啊。所以他们的业务上协调性比较强，你也不用再去做你的Correct AI的，自己的大模型了，用拉玛3算了。</p>



<p class="wp-block-paragraph">还有一个可能是谁呢，就是<a href="http://x.ai/" target="_blank" rel="noreferrer noopener">X.AI</a>啊，就是卖给马斯克啊。协调性上呢，也有一部分，但是它的协调呢，主要是跟X.com，就是Twitter。你说我跟你协调一下，没毛病啊，你的用户和需求上，是可以协调起来的啊。再加上<a href="http://x.ai/" target="_blank" rel="noreferrer noopener">X.AI</a>下头的这个Group大模型，对吧啊，你也直接用这个就完事了啊，就不用再去自己训练Character AI这种大模型了。这个也是有可能的。而且<a href="http://x.ai/" target="_blank" rel="noreferrer noopener">X.AI</a>自己融到了比较多的钱，也买到了非常多的H100啊，这两件呢，也可以合作。</p>



<p class="wp-block-paragraph">那么这种项目到底怎么个卖法呢，跟大家稍微科普一下。谷歌跟美塔都是上市公司，所以呢，他们经常会用股票直接对付。比如说按你这公司值个10亿啊，咱们刚才讲了。</p>



<p class="wp-block-paragraph">他已经是独角兽了，市值假设值10亿美金。那谷歌跟梅塔说来，我教拿钱者出来。这个钱呢，就是我的股票。投资人也愿意，比如说前面投资了啊，科尔特AI的这些投资人说，我愿意来接受这些股票啊。接受完了以后，你可以拿到纳斯达克直接把它卖掉。这是没有任何问题的。对于创始人来说呢，我也是给你股票啊，或者说给你一部分现金，给你一部分股票，这也没毛病。价格呢就按照当前的市值，或者说从现在开始，往前多长时间之内的一个平均价格，我给你算，按这个价格直接给你股票就完事了啊。</p>



<p class="wp-block-paragraph">如果是XAI呢，它不是上市公司，但也是通常拿股票来收购，大家很少动现金啊。有现金，都是去预备处理一些不时之需的啊。能用股票的都尽量用股票，除非什么呢？就是你现在的股票被严重低估了，这个时候可以去用现金。只要是说去做并购的时候，你觉得你自己的股票价格，还是比较满意的啊，都是拿股票去对付。但是XAI不是上市公司呢，你就需要去做一下价格谈判。如果这XAI到底按什么样的价格来，去给你对付呢？而且对于非上市公司呢，有时候啊，大家不愿意接受他的股票，说你还是多得给点现金啊。你没上市，万一你以后上不了市呢？对吧，你股票给我，最后我没法去变现去啊。这事是不行的。上市公司就是你拿到股票，就股市上变现了。投资人呢，通常会收回成本以及相应的利息啊。你说是不是会有一个小小的溢价呢？呃，这个不好说啊。这个还是要看说，呃，你现在发展的不错，他就会有溢价。</p>



<p class="wp-block-paragraph">如果发展的没有那么好的话，这个溢价可能就会小一些。创始人呢，价格通常是单独谈啊。他跟投资人拿的那个价格不一样。假设把这个项目是10亿美金的估值啊，上一轮10亿美金估值，那么跟每一个投资人去沟通的时候，他不都按10亿做啊。最新的一轮肯定是10亿啊。前面比如说你按1亿投的，按2亿投的，你可能也会有一些折扣啊。这个是要去谈的啊。那么创始人呢啊，通常就没有10亿什么事了啊。他们就说：“哎，咱们单独谈一个价格啊。”这个价格具体是什么，应该会打比较多的折扣。谈完价格以后，也是给一些现金，给一些股票啊。当然而且股票肯定是占大头的。甭管是上不上市公司，我们去收购这种案子的时候，都是主要给股票。</p>



<p class="wp-block-paragraph">那再往后呢，就是签对赌协议。你进来以后多长时间之内不许离职，然后必须要保证，你的项目能做成什么样。每年完成对赌了，我给你把这个前面答应好的，这个呃股票，再兑现给你。如果你没答应的话，我们后边的股票是打折呀，还是做什么其他的处理对吧。这是创始人的这个处理方式。</p>



<p class="wp-block-paragraph">现在的AI伴侣呢，carrot AI遇到的另外一个小问题是什么？就是中国人都来了啊。中国人都在冲锋啊。一方面是有很多假冒应用。刚才我到苹果手机上去搜carrot AI，发现有好多中国人做的。这种叫Carout AI，中文版Carout AI啊，charge CPT四欧版什么的，都是中国人做的。这种小应用，都在充分散了它大量的流量啊。这是一方面。另外一方面呢，（信息不完整，需要更多上下文来完成格式化）。</p>



<p class="wp-block-paragraph">中国各个AI大厂也都在冲刺，包括字节跳动、Minimax、Moveshot都在做Character AI这个赛道。而且，中国应用是有一些特点的，就是海外应用其实比较难模仿。特点是什么？第一，细节。就是我们比较注重细节，我们也有的是人力。我们可能做一个应用投入的人力，或者说叫工时吧，是海外同等应用的几倍，甚至是上百倍。在这样的一个情况下，比细节的话，他们肯定是比不过的。你说怎么可能有这么多的人工投入呢？很正常对吧。他们可能投入5个程序员，我们敢投入可能10个，或者是50个程序员。我记得特别清楚，当年我们去做Klimast，做清理大师的时候，国外同类产品基本上就是五六个程序员就做完了。而我们那一个团队是200人，再加上加班。我们的加班加的，绝对是他们无法想象的。所以我们可能真的是有几十，上百倍的人力投入。我们做应用的时候，细节一定比他们好。</p>



<p class="wp-block-paragraph">另外一个，就是赚钱。就是中国人做项目，赚钱能力是很强的，变现能力都非常强。你说我现在想用什么角色在Carstair，你自己选就完了。因为到国内一些产品里就跟原神似的，你一抽，抽中了让你使用，不中不让你使用，抽卡怎么办？花钱。他完全把很多游戏相关的东西都放上来了，就设置游戏变现点，设置这种游戏的各种规则。这个是中国人相对来说比较擅长的事情。</p>



<p class="wp-block-paragraph">最后一个，中国应用，老外学不会的东西，是什么呢？叫极限投放。我不断的到谷歌投放广告，这种投放的精准度和力度，是他们难以企及的。</p>



<p class="wp-block-paragraph">到 Facebook 四处去买量去啊，只要是我现在还亏得起，我就把最后一根铜板都扔进去买辆。这个老外是玩不起的，所以有这些中国的应用进来竞争了，以后凯瑞特 AI 可能也就是说算了，不跟你们比无耻了。我卖了，就这样。那么，Carget AI 对未来的影响到底是什么样的呢？几种可能性啊。第一种，卖成功了，真的卖掉了，卖掉了基本上叫宣布赛道结束，竞争结束了啊。大家都不用费劲了，我们已经选出冠军来了。这个可能性是比较大的。但是一旦是赛道结束了，以后会怎么样呢？就是别的投资人，就不会再愿意把钱投进来了。对，可能在中国还会有人投啊，就是这种封闭市场还会有人投。我举一个案例吧，比如美塔当年把 Instagram 收走了以后，你说咱们在美国，咱们再做一个 Instagram，可能大家就不费这个劲了。但是在中国说哎，咱们再做一个 Instagram，还是有人愿意投的啊。所以呢，他在国际市场，这个赛道基本上就宣布关闭了。其他的选手你说我竞争失败，这些人呢，就要想办法去转换姿势了。你说我继续往这些这条路往前走，因为前面买过这个项目的公司，不会再买一个。其他这些大厂呢，有人说没谈买了，谷歌说算了，我就不用再去跟你进行这样的啊，百热化竞争了啊。咱就不再进这个赛场了，你就等于就没有再卖掉的机会了。一旦被卖掉了以后，还有一个证明是什么？就是这个项目最终的商业变现有缺陷，没法变现。Instagram 卖给梅塔之后，很长时间都不挣钱。</p>



<p class="wp-block-paragraph">梅塔也是尝试了非常长时间，才让这个项目开始有盈利的机会。所以啊，一旦是卖成功了，赛道关闭，各种资金就开始持币观望。其他的剩余选手开始见风使舵，开始变换姿势啊。那你说，如果没有卖成功，过两天我又融到钱了啊，这个事会怎么样啊？其实，很多的项目都是这样啊。我要卖卖卖，过两天融到钱了啊，那么赛道依然开放啊。大家冲啊，甭管中国玩家还是海外玩家，一继续往前冲啊。这个是皆大欢喜。如果没卖掉，苟延残喘，我接着往前混了，这事行不行？这个大家就需要熬了啊。那么，投资人呢，也会变得稍微谨慎一些啊。这个整个的创业这事啊，怕什么呢？叫老大不争气。什么叫老大不争气？就是做的最好那家啊，他不挣钱。一旦出现这样的情况，等于宣布说这个赛道本身有病啊，他不是那么健康啊。大家就会小心一些。那你说直接挂了呢？我没卖掉啊，我没融到钱，也苟延残喘不下去了，我直接挂了。那么这个时候呢，就会鸟兽散。大家就彻底散开。散开了以后啊，投资人还会进来说我们不甘心啊，这块可能还有机会啊。当时他们可能是这样做的，是那样做的有问题。所以，大家呢，都会做下来，总结经验教训。有可能呢，还会在这个行业里头继续去孵化啊。这个是啊，Character AI的几个可能结果，会对这个赛道产生的影响。好啊，这一期就跟大家讲到这里。感谢大家的收听，请帮忙点赞，点小铃铛，参加Disco讨论群。也欢迎有兴趣，有能力的朋友加入我们的付费频道。再见。</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型</title>
		<link>https://lukefan.com/2024/05/06/%e5%bc%b1%e6%99%ba%e5%90%a7%ef%bc%8c%e4%ba%ba%e7%b1%bb%e6%9c%80%e5%90%8e%e7%9a%84%e9%98%b2%e7%ba%bf%ef%bc%8c%e4%b8%ad%e6%96%87ai%e5%a4%a7%e6%a8%a1%e5%9e%8b%e8%ae%ad%e7%bb%83%e7%9a%84%e7%a5%9e%e5%a5%87/</link>
		
		<dc:creator><![CDATA[Luke Fan]]></dc:creator>
		<pubDate>Mon, 06 May 2024 00:36:44 +0000</pubDate>
				<category><![CDATA[AIGC]]></category>
		<category><![CDATA[AI和文化的交融]]></category>
		<category><![CDATA[AI大模型]]></category>
		<category><![CDATA[AI技术应用]]></category>
		<category><![CDATA[AI挑战]]></category>
		<category><![CDATA[AI模型效果]]></category>
		<category><![CDATA[AI模型训练]]></category>
		<category><![CDATA[AI的文化影响]]></category>
		<category><![CDATA[AI的未来]]></category>
		<category><![CDATA[AI研究]]></category>
		<category><![CDATA[AI训练]]></category>
		<category><![CDATA[English]]></category>
		<category><![CDATA[GPT-4]]></category>
		<category><![CDATA[LLaMA]]></category>
		<category><![CDATA[中文语料]]></category>
		<category><![CDATA[中文语料库]]></category>
		<category><![CDATA[中科院]]></category>
		<category><![CDATA[人工智能]]></category>
		<category><![CDATA[人工智能教育]]></category>
		<category><![CDATA[人工智能测试]]></category>
		<category><![CDATA[人工智能的智慧路径]]></category>
		<category><![CDATA[人类创造力]]></category>
		<category><![CDATA[内容创作]]></category>
		<category><![CDATA[哲学]]></category>
		<category><![CDATA[哲学思考]]></category>
		<category><![CDATA[哲学的现代应用]]></category>
		<category><![CDATA[哲学语录]]></category>
		<category><![CDATA[图灵测试]]></category>
		<category><![CDATA[大数据训练]]></category>
		<category><![CDATA[大智若愚]]></category>
		<category><![CDATA[大模型训练]]></category>
		<category><![CDATA[小红书]]></category>
		<category><![CDATA[幽默]]></category>
		<category><![CDATA[幽默与哲学]]></category>
		<category><![CDATA[幽默哲学]]></category>
		<category><![CDATA[幽默文化]]></category>
		<category><![CDATA[开源数据]]></category>
		<category><![CDATA[开源数据集]]></category>
		<category><![CDATA[开源贡献]]></category>
		<category><![CDATA[开源资源]]></category>
		<category><![CDATA[弱智8]]></category>
		<category><![CDATA[弱智吧]]></category>
		<category><![CDATA[技术影响]]></category>
		<category><![CDATA[技术解读]]></category>
		<category><![CDATA[抖音]]></category>
		<category><![CDATA[教育科技]]></category>
		<category><![CDATA[数据开放]]></category>
		<category><![CDATA[文化现象]]></category>
		<category><![CDATA[文化评论]]></category>
		<category><![CDATA[文字游戏]]></category>
		<category><![CDATA[文心一言]]></category>
		<category><![CDATA[智慧体现]]></category>
		<category><![CDATA[机器学习]]></category>
		<category><![CDATA[机器智慧]]></category>
		<category><![CDATA[模型优化]]></category>
		<category><![CDATA[模型微调]]></category>
		<category><![CDATA[滑铁卢大学]]></category>
		<category><![CDATA[百度贴吧]]></category>
		<category><![CDATA[社交媒体互动]]></category>
		<category><![CDATA[社会文化]]></category>
		<category><![CDATA[科技与文化的桥梁]]></category>
		<category><![CDATA[科技创新]]></category>
		<category><![CDATA[科技发展]]></category>
		<category><![CDATA[科研成果分享]]></category>
		<category><![CDATA[简体中文]]></category>
		<category><![CDATA[繁体中文]]></category>
		<category><![CDATA[编程能力]]></category>
		<category><![CDATA[编程逻辑]]></category>
		<category><![CDATA[网络传播]]></category>
		<category><![CDATA[网络幽默]]></category>
		<category><![CDATA[网络幽默的力量]]></category>
		<category><![CDATA[网络文化]]></category>
		<category><![CDATA[网络热点]]></category>
		<category><![CDATA[网络社区]]></category>
		<category><![CDATA[网络趣味分析]]></category>
		<category><![CDATA[脑筋急转弯]]></category>
		<category><![CDATA[训练数据集]]></category>
		<category><![CDATA[语料库]]></category>
		<category><![CDATA[语料训练]]></category>
		<category><![CDATA[语言模型]]></category>
		<category><![CDATA[语言的力量在AI中的应用]]></category>
		<category><![CDATA[语言艺术]]></category>
		<category><![CDATA[跨界影响]]></category>
		<category><![CDATA[逻辑分析]]></category>
		<category><![CDATA[逻辑思考]]></category>
		<category><![CDATA[逻辑挑战]]></category>
		<category><![CDATA[逻辑推理]]></category>
		<category><![CDATA[零一万物]]></category>
		<category><![CDATA[高质量语料]]></category>
		<guid isPermaLink="false">https://lukefan.com/?p=1217</guid>

					<description><![CDATA[大家好！欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲“弱智吧”。 “弱智吧”是什么呢？它实际上是一个 ... <a title="弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型" class="read-more" href="https://lukefan.com/2024/05/06/%e5%bc%b1%e6%99%ba%e5%90%a7%ef%bc%8c%e4%ba%ba%e7%b1%bb%e6%9c%80%e5%90%8e%e7%9a%84%e9%98%b2%e7%ba%bf%ef%bc%8c%e4%b8%ad%e6%96%87ai%e5%a4%a7%e6%a8%a1%e5%9e%8b%e8%ae%ad%e7%bb%83%e7%9a%84%e7%a5%9e%e5%a5%87/" aria-label="阅读 弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型">阅读更多</a>]]></description>
										<content:encoded><![CDATA[
<figure class="wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio"><div class="wp-block-embed__wrapper">
<iframe title="弱智吧，人类最后的防线，中文AI大模型训练的神奇语料库，简短幽默蕴含哲理的网络金句聚集地已经被用于训练大模型" width="900" height="506" src="https://www.youtube.com/embed/FDufDZyNhhs?feature=oembed" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
</div></figure>



<p class="wp-block-paragraph">大家好！欢迎收听老范讲故事YouTube频道。今天咱们来讲一讲“弱智吧”。</p>



<p class="wp-block-paragraph">“弱智吧”是什么呢？它实际上是一个百度贴吧，里面有很多独特、简短的文字，带有哲学、脑筋急转弯、幽默感，甚至很优美的内容。大家会说：“我们是弱智，我们要到弱智吧里面去，贴一些弱智的内容，贴一些弱智的问题和答案。”但随着时间的积累，人们发现，这正是“大智如愚”的体现。弱智吧的很多内容也被大家筛选出来，贴到小红书、抖音等各个平台上，惊艳了一大片人。</p>



<p class="wp-block-paragraph">这真是非常神奇的事情。有人感慨：“我们很聪明的人没有惊艳到别人，而是一帮‘弱智’惊艳到其他人了。”弱智吧里有些什么样的经典语录呢？比如“吃什么补什么”，告诉我们“吃苦成不了人上人，只有吃人才行”。这样的内容看似无厘头，但仔细思考，你会发现吃人才是成为人上人的唯一原因，因为“吃什么补什么”。它巧妙地结合了中国传统文化的内容。</p>



<p class="wp-block-paragraph">还有其他有趣的例子：“工人罢工之后就成了人”，“原来你是工人”；“四川人至死不渝，重庆人乐不思蜀”，这两个相邻的省份和直辖市，四川人似乎到死都不愿去重庆，而重庆人却乐在其中。</p>



<span id="more-1217"></span>



<p class="wp-block-paragraph">这就是弱智吧里常见的一些内容，充满了创意和趣味。不想四川了，啊。</p>



<p class="wp-block-paragraph">这是…也是把中国传统文化里的一些梗串在一起了。甚至还有啊，苦难是生命的防沉迷系统。这个世界是一列高速行驶的列车，我们不是乘客，是燃料。向禁欲的寺庙去求姻缘，向不出门的方丈去问人生，向路边的瞎了眼的道士去看前程，向最爱你的人去证明他没有那么爱你。啊，这也是《弱智八里》的信息。</p>



<p class="wp-block-paragraph">然后，咖啡因来自咖啡果，所以咖啡因是果，咖啡果才是因。这也是把以前的这种因果循环，很多佛学的东西加在里头。有人看不到未来，其实是看到了未来，哇，这也是里面经常经典的一句语录了。还有些什么呢？</p>



<p class="wp-block-paragraph">生鱼片是死鱼片，等红灯是在等绿灯，救火是在灭火，指南针主要是指北。大家看到了以后会突然愣一下，然后再去思考。思考完了以后，有些是会心一笑，呃，有些可能真的是会回忆起心中的某一些苦涩。但最终可能也还是只能会心一笑。</p>



<p class="wp-block-paragraph">既然有这么强的《弱智吧》，现在大家要都在搞人工智能，都在搞AIGC，搞大模型了，那咱们肯定是不能放过这些大模型。所以呢，有一段时间就开始流行用弱智吧的问题去考教大模型。任何一个新的大模型出来以后，都是会把弱智吧的问题拎出来问一遍，看看大模型是不是足够的弱智吧。</p>



<p class="wp-block-paragraph">最早翻车的应该是百度的文心一言，后来他们针对弱智吧的很多问题进行了特定的修正，效果呢，稍微好了那么一点点。现在基本上，只要是跟中文相关的大模型出来以后，都会弱智吧一把。经常会被拿来问AI大模型的弱智吧问题，是什么呢？</p>



<ol class="wp-block-list">
<li>为什么我爸妈结婚的时候没有邀请我？</li>



<li>高中想要提升升学率，为什么不直接招大学生呢？</li>



<li>为什么晚上睡觉的地方叫酒店，而晚上喝酒的地方叫夜店呢？</li>



<li>网吧能上网，为什么弱智吧不能上？弱智呢？</li>



<li>说一个半小时是几个半小时？</li>



<li>陨石为什么总是落在陨石坑里？</li>



<li>人如果只剩下一颗心脏还能活吗？</li>



<li>蓝牙耳机坏了，去医院挂耳科还是牙科呢？</li>



<li>小明打开水龙头…</li>



<li>是因为开水龙头烫到了小明的手吗？他其实在考验的很多是什么。你的分词是怎么分的？这些相关的近义词、同义词、反义词，以及语言背后的很多梗，到底是什么意思？比如说，关于酒店和夜店的故事，关于说，“哎，你父母结婚的时候为什么没有邀请你？”的问题，他其实在后面是带有很多的就是直接问话之后的潜台词。你如果这些潜台词搞不明白的话，那么这件事情基本上你是没法回答的。所以很多的AI大模型，遇到了这样的问题之后，如果他只进行一层思考，那必然回答是错误的。既然这样，咱干脆拿弱智巴来做大模型训练，不就完事了吗？</li>
</ol>



<p class="wp-block-paragraph">于是啊，中科院、滑铁卢大学和灵异万物，他们呢就把这个事情组织起来说，我们拿弱智巴的数据进行训练吧。其实刚我刚才讲的案例里头，大家会看到，像百度其实早就训了。那为什么今天咱们要讲中科院、滑铁卢大学和零一万物拿出来训练呢？因为他们训练的结果是开源的。训练完了以后的这些数据集也是开源的，你拿着这些数据集，就可以去调整自己的大模型了，而不像百度似的，发现丢人了，关起门来，我去做一下调整和测试，然后啊再开开门，你看这回会回答这个问题了吧。啊但是他是不是会回答其他问题，然后别人是不是可以通过这个过程学到一些什么东西，就通通都没有了。这就是必元的这些大模型的一些弊端啊，开元大模型的或者一些开元的玩法啊，他们就会给大家整个的这种训练啊，整个的模型应用的能力提升做出一些贡献。</p>



<p class="wp-block-paragraph">弱智吧，大分大智若愚，弱智吧，才是人类面对AI的最后一道壁垒。为什么讲这个呢？就是很多人说，你看看这个人到底是人还是机器。以前我们要让他做图灵测试，但是到这里来，把弱智吧的题给他读一遍，然后看看他到底能不能做出来，来判断他到底是人还是AI。弱智吧 到底是不是人类面对AI的最后一道壁垒？那肯定不是。现在，既然大家已经开始拿弱智吧的问题去训练AI了，已经拿它去训练出很多的模型，优化的这个结果了，而且那个真的是结果，经过弱智吧训练的这些模型，打分是非常高的。那么我们现在需要的是高质量语料。很多人在去讨论说…</p>



<p class="wp-block-paragraph">为什么中国没有产生CHANGPT的时候？有一个很神奇的论点，就是说中国缺乏高质量语料。其实并不缺。以前大家都说，全世界的高质量英文语料大概是6TB左右，这个数据不知从何处查得。但是，这一次拉玛3就打了所有人的脸，说你看我用15T的数据去进行训练，训练完了以后，效果确实是遥遥领先。而这个15T的数据里，有大量的其实是由AI自己生成的，然后由AI去审核、去过滤的这样的数据去训练。这些数据里头有95%是英文的，只有5%不是英文的数据。更不要说中文了，中文跟所有其他语言混在一起，占最后的5%。</p>



<p class="wp-block-paragraph">现在我们到底怎么去给拉玛三做继续训练，怎么在他这个基础上去做提高？其实，国内很多做大模型的公司已经在这里跌了跟头。别看网上有很多人说阿拉玛3可以自己去做微调了，可以怎么怎么样，甚至还有些人给非程序员出教程，那其实是骗人的。真正的大模型公司，他们会拿拉玛3的模型做完训练之后去做验证，去做跑分。虽然跑分这个事情跟我们的主观评测、主观感受有一定差距，但跑分还是他们验证、测试训练效果的最好方法。现在他们对拉玛3进行的各种微调，在训练所有的这些事情，大部分结果其实是变差了的。就是你训练完了以后比原来更差，拉玛三不擅长中文，你对中文进行了一堆训练以后，中文能力没有提升，英文能力反而下降。这个事情是蛮多的，所以大家不用那么狂欢地说，我要去拿拉玛3去做训练了，先去等一等看。现在我也在找人说，咱们是不是拿弱智吧的数据集把拉玛3再训一遍试试，但是最后能不能得到效果，还要再去等。那么，到底如何找到高质量的中文语料呢？刚才我们讲，弱智巴是一个高质量的中文语料，中科院的巴、铁路大学的和零一万五三拨人凑一块，他们干嘛呢？把弱智巴找出来，弱智巴的帖子很多，排序嘛，找点赞最高的500个帖子，把它找出来。先把这个标题取出来，“你到底都问了什么”，然后用GPT4做些回答，再进行人工的修正，再参考原来弱智吧里面的一些内容，混入到数据集里边去。包括小红书、知乎、豆瓣、百科也都没放过。就是大家把各种各样的信息都拿出来，做训练了。</p>



<p class="wp-block-paragraph">但是人类最后处理的方式是：人类提出问题，人类回答，人类筛选，然后由GPT4辅政，再用人类去标注，入库训练。这就是整个的一个过程。整个训练完了以后，弱智吧的数据是效果最好的。就他们用小红书的数据，用豆瓣的数据，原来很多人说豆瓣应该是一帮文艺青年，应该拿那个玩意数据训练出来效果最好。但是现在不知道为什么，是弱智巴的语料训练的效果是最好的。而且很神奇的是，用弱智巴语料训练出来的大模型，他们在零一万物的E34B上做了微调和继续训练，发现这个模型写代码编程的能力莫名其妙的上升了。</p>



<p class="wp-block-paragraph">大模型真的就是一个黑盒子，就是你对他进行训练以后，他可能有些能力会上升，有些能力会下降。他们发现，弱智吧训练完了以后会写程序了，会做各种逻辑相关的这种判断，这个会更强一些。而且呢，他们真正做得好的地方是，不是说他们把已经训练过的E34B拿出来给别人用了，现在他们训练过的E34B还在他们内部，什么时候能拿出来还不知道。但是他们做了一件事情，他们把弱智吧用来去训练的数据集开源了。这个数据集在哪呢？在huggingface上，在github上都有，大家可以上去去找，很多开源的数据集，大家都可以在上面找。比如说你要写小说，上面有专门的小说数据集。你只需要把这个数据集拿出来，跟一些认定比较好的大模型去进行训练，这样就可以更好地去写小说了，包括写玄幻小说或各种带设定的小说。他们都会有这样已经标注好的数据，你不用再重新学习和自己做标注。人类不需要反复重复发明轮子。当然，像百度那样，他们可能做完后只说自己有，别人没有。但做开源模型的人会把中间训练的数据集也直接开源，你可以在上面找。现在，弱智吧也可以自己下载去训练，但训练的结果没法保证。我们不能保证用了弱智吧的数据训练后，模型就会变聪明，这是没法保证的。</p>



<p class="wp-block-paragraph">为什么呢？就像有个学校说，他们学校的学生都能提分多少多少，然后你满怀希望把孩子送进去，训练后发现高考提分没提到，你不能去退钱。人家最后会告诉你，可能是孩子不够努力，或者有其他问题。因为这是一个黑盒子。但至少他们给你开源了数据，你可以用，这比百度那种完全闭门造车的要强很多。</p>



<p class="wp-block-paragraph">大模型的本身其实是一个黑盒子，就像上同样的补习班，有的孩子提分明显，有的可能降分，甚至有些直接崩了。大模型也是这样的东西。那么为什么弱智吧的效果特别好呢？这个事，其实谁也说不那么清楚。</p>



<p class="wp-block-paragraph">有些人进行了一定的逻辑分析，称赞说：“你这个逻辑很好，虽然里面都是2到3层的转折逻辑，甚至包含很多诡辩和脑筋急转弯。它是一种极端的端到端思维，我有一个开始，有一个结束，但中间的运转过程，我不说。”这种弱智的神奇之处在于，尽管可以逻辑分析，比如每天有人打电话说：“你好，我们是人大附中退休老师开办的补习班，我们家孩子高三，所以这种电话每天都会接到。”他们告诉你一个逻辑，但你不能由此推导出孩子去补习班就一定能学出来，真的不一定。他们这么做，只是想表明这是符合逻辑的。在众多补习班或大数据集中，选择某个进行训练，可能会提高成功几率，但每次训练的结果只有0和1，过程不可拆解，也无法详细分析。这就是现在AI大模型的奇怪之处。</p>



<p class="wp-block-paragraph">那么，为什么学了弱智吧就会编程呢？参考上面的讨论，这其实没有任何逻辑可言。现在有人主张学习哲学，问：“是不是应该学一些哲学？”我们已经给大模型提供了各种语料，是否应该加入更多哲学相关的信息，让模型训练后向AGI的方向发展？我们尝试用弱智吧的信息进行训练，结果在各种评测中领先。对此，我们只能说结果如此，现象已经呈现，但要分析清楚原因，比如是否学了哲学，或者学了什么，还无法明确。</p>



<p class="wp-block-paragraph">先讲政治，这样的事情，他就对齐了。这个事情是没有任何可以直接进行关联的逻辑的。啊，也有可能有些模型，比如说用哲学相关的语料训练之后，他的逻辑能力反而会下降。这个可能性是非常大的，特别是在一些不那么讲逻辑的地方。那里学的各种奇怪的哲学，因为我们现在冠以哲学之名的东西是蛮多的。这个都很难说的事情。这就是我们今天要讨论的问题：用弱智吧的内容去训练大模型，导致大模型的性能提升了，到底给我们带来什么样的思考。如果你说，哎，我是想去用弱智吧的东西也训练一下自己的大模型，怎么办？到黑根face里边去搜索，你是可以找到这个数据集的。或者你到灵异万物，到其他地方去问，你也可以找到这个数据集。你也可以拿这个数据拿回来，自己去训练一下。但是一定要记住，我们不保证所有的人上了同样的培训班之后，上了同样的补习班之后，你都可以去提分。这就是跟大家讲的今天的故事。好，今天的事情讲到这里，感谢大家收听。请帮忙点赞，点小铃铛，参加Disco讨论群。也欢迎有兴趣、有能力的朋友加入我们的付费频道。再见。</p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
