← 返回 Blog

Blog

我们一边用 AI,一边把自己交给下一轮训练

LLM 先蒸馏了人类留下的知识,现在开始蒸馏我们正在做的事。我们每天在用它,也在一点点把自己交出去。

说穿了,LLM 本来就是一次巨大的蒸馏。蒸馏,就是把一大锅东西熬成浓缩的一小份。

过去的人写下了书、论文、代码、问答、评论,还有各种乱七八糟的网页。模型厂把这些收集起来,压进一个能接着往下写字的系统里。里面当然有不少工程上的讲究,可它做的事并不神秘:把人类留下的知识、判断、说话方式,连带着坏习惯,尽量压进一个随叫随到的模型里。

一、旧材料抓完了,比的是谁被用得多

第一阶段比的,大概是谁拿到的历史材料更多。这已经很残酷了,但还能想象成一场超大规模的资料整理:只要数据还在外面,谁抓得多、洗得干净、付得起训练费,谁就有机会往前挤。

现在情况变了。

能找到的公开材料,几家模型厂都收得差不多了。接下来要比的,越来越是谁拿到的使用反馈更多。谁的模型用的人多,谁就更有机会早一步看到真实的问题、真实的干活流程和真实的偏好,也能看到它在哪儿翻车。人们在什么地方肯信它,在什么地方转头就把它关了,这些它也都看得到。

这样就转起了一个循环:模型越强,用的人越多;用的人越多,反馈越密;反馈越密,下一轮模型又更强。走到这一步,强者恒强就算不上生意场上的一句感慨了:这套训练方式本身,就会把强的推得更强。

二、AI 也开始训练 AI

还有一件事,让这个循环转得更快:现在的模型已经用进了训练模型这件事本身。

AI 帮人写提示词、写代码、写文档、整理资料、出测试、给答案打分,也被拿来筛数据、造数据、洗数据,标出人更喜欢哪个回答。这些过程再被拿去训练,人交给模型的,除了过去写下的知识,还有现在做事的方式;模型学到的,也包括了人是怎么用模型的。

三、我们以为只是在用工具

想到这里,我心里有点别扭。

表面上,我们是在用 AI:写邮件、写代码、查资料、改文案、做方案,工具在替人干活。可要是站在训练模型的人那边看,每一次提问、每一次追问、每一次复制、每一次放弃、每一次重写,只要被记了下来,都可能成为一条信号,告诉它人喜欢什么、一件事该怎么拆。

而且这些信号,往往是我们花钱交出去的。说它是白干活,不太公平,因为钱是付了,服务也确实拿到了。可反馈留在了对方手里,一旦拿去训练,就会帮它把下一轮做得更强,这又跟平常买东西不太一样。

这么看,要担心的就远不止 AI 会不会抢工作。我们把越来越多的思考、表达、判断和协作搬进 AI 的对话框,等于每天都在一遍遍把自己怎么干活摊给它看。历史上的东西被蒸馏过一次,我们眼下正在做的事,正在被蒸馏第二次。

四、想退也退不出来

这场蒸馏还有个残酷的地方:很难退出。

对个人来说,不用 AI,效率可能就落后了;用了,就得接着把自己的任务、偏好和干活的中间过程送进去。对公司来说,不接 AI,成本和速度可能被对手甩开;接了,公司里的知识怎么流转、大家怎么协作、业务边界在哪,会有越来越多被记下来,公司也会越来越离不开外面的模型。

因为退不出来,这就算不上一个可以慢慢商量、从容投票的技术选择,更像一场全人类的效率内卷。谁都知道,更快的工具会改掉比赛规则;可只要比赛还在继续,谁都很难自己先停下来。

五、蒸馏本身没错

我不想骂它。人类一直在蒸馏:教育是,书是,制度也是。这一次不一样的地方,是蒸馏的速度、规模,还有那个越转越快的反馈循环;而且熬出来的东西,集中在极少数能部署、能收费、还能接着训练的系统手里。

我只想先把这件事看清楚。

那怎么办

也许没有漂亮的答案。要么早点跳进海里,学会在这片水里呼吸;要么爬上珠穆朗玛峰顶,离这套反馈循环越远越好。大多数人最后多半既不会真的下海,也不会真的上山,只是在两头之间找个勉强能活的位置。

至于该警惕什么,我现在的想法是:我们写下来的东西,它早就学得差不多了;它现在一天天在学的,是我们怎样变得更快。

讨论

评论

直接在本站留言交流。

评论正在加载…