← 返回 Blog

Blog

同一片暗礁,只该付一次代价

Vibe Coding 让出发变容易了。团队真正要攒下的,是走错之后留下的东西。

原地打转的那一次

用 Agent 写代码,常让我想起开小船出海。大致方向知道,目的地也说得出来,可中间要经过哪些海域,心里没底。只好先让 Agent 去查代码、搜资料、改实现、跑测试,看了反馈再调方向。

这样出发是容易了,可偏到哪儿去了,也更难发现。

Agent 读了很多文件,偏偏漏掉关键依赖;修好一处报错,却顺手破坏了任务里没写到的业务规则;局部测试全绿,结果还是不符合需求。屏幕上的工具调用一刻没停,任务可能早就在原地打转了。

模型能给船加足马力,可该往哪开、到没到地方,它自己说不清。

这些年大家都在说代码写得越来越快,我更在意的是另一笔账。代码写出来只是开头,之后要有人看懂、评审、测试、部署,还要顾着兼容和迁移,哪样都要花钱。AI 让写代码便宜了,这些后续的活却一样没少,样样都要花钱。要是没人验证、没人管,代码写得越快,欠下的账也涨得越快。

所以我觉得,团队除了攒代码,更要攒下写这些代码的依据:解决的是什么问题,哪些业务规则碰不得,为什么选了现在这个方案,哪些路已经证明走不通,改完以后怎么证明没把原来的东西弄坏。代码丢了可以重写,这些东西丢了,下次就得从头再摸一遍。

当然,攒错了也会坏事:过期的架构说明、没写清适用范围的经验、没人测过的 Skill,一样会把人带偏。所以值得攒的知识,得说得清从哪来,拿来能直接用,用了能验证对不对,还得有人负责维护。

一、弯路是要花钱的

复杂的工程任务没有现成路线。Agent 得在需求、代码、文档和实验结果之间找线索,先猜一个方向,动手试一试,不对再换下一个。这其实是在搜索,每走一步都要花钱。

Uber 的工程博客里有个对比很能说明问题。同一个模型回答同一个查数据的问题:用上一张 2400 万节点、8000 万条边的 Context Graph,38 秒得到正确答案;没有这张图,它找了大约 20 分钟,开了两个子 Agent,报了三次错,最后结论还是错的。[1]

Context Graph 说白了是一张”公司知识关系网”:把服务、团队、事故记录、PR、设计文档、部署、数据表和历次查表记录这些东西连起来,Agent 用大白话问一句,就能顺着关系找到答案。那次之所以快,是因为它从历史查询记录里直接找到了一张 50 多位分析师都用过的表;没这张网的 Agent 只能去翻服务代码,最后断定这份数据查不了。[1]

这只是一个案例,说明不了平均能省多少。但它把钱花在哪儿看得很清楚:大头花在找对的资料上,写代码本身没花多少。

所以除了压每次调用的单价,更该问的是:为了完成这件事,它走了多少本可以不走的路。要回答这个问题,先得看得见它走过的路。我把帮人看路的这套东西叫 Harness:它给 Agent 提供任务背景,记下每个动作,把环境的变化反馈回去,拦住危险操作,最后检查结果。有了它,我们才能知道 Agent 是凭哪些事实动的手、在哪一步出的错、是不是又把上次的弯路走了一遍。

二、记下来,不一定用得上

我们在公司的一个项目里给 Agent 做过一个专门攒经验的 Skill:不管是查 Bug、做调研还是写代码,只要一个任务来回试了几轮、失败过、修正过,就把这段过程记下来,好让下次少走点弯路。

第一版用一个 index 文件来查这些经验。经验是存下来了,可 Agent 有时查得到,有时查不到。

想想也正常。一条经验要真起作用,Agent 得先意识到眼下该去查,再找到那条记录,判断条件对不对得上,最后照着改自己的做法。文件放在那儿,这几步没有一步会自己发生。读到一条经验和照着它去做,中间还隔着好几步。

人也一样。熟练的人碰到熟悉的情况,不会回去翻笔记,手上自然就有做法。给 Agent 的经验也一样,得写成 Skill,写清什么情况下用、具体怎么做、做完怎么检查,它干活时才有可能真用上。

WikiSkill 这篇论文的结果可以参考。它把存东西的地方分成三层:Raw 存原始执行记录,Wiki 攒总结出来的规律和历史,Skill 放具体做法;另外有专门的角色整理经验、提出怎么改 Skill,改完拿验证集测,过了就留下,不过就撤回。在干活的 Agent 不直接读 Wiki 的前提下,加上长期保存的 Wiki 和整理经验的角色以后,平均成绩从 48.7% 涨到了 63.7%。[2]

我从中读到的是:攒下的知识要能反过来改进做法,但两样东西不能一股脑塞进一个越写越长的 Prompt。论文自己也说明了一个局限:它是把 Skill 直接塞进 Prompt 的,没有测过 Skill 多了以后,Agent 还能不能挑中该用的那个。[2] 这恰好是我们在那个项目上碰到的问题。一个方法本身好不好用,和任务来了 Agent 能不能想起它,是两回事,得分开检验。

论文里还有个细节我挺喜欢。在上面的基础上,如果训练阶段让干活的 Agent 也能读 Wiki,成绩反而掉到 60.9%。作者猜测,Agent 直接从 Wiki 里拿到了解题的知识,Skill 本身有什么毛病,也就暴露不出来了。[2] 照这个解释,给的东西多了,问题反倒会被藏住。

回到那个项目,我们还缺一块:经验产生时的现场没有存下来。一条”遇到某类错误,先跑某个命令”的经验,可能依赖特定的版本、仓库结构和前置条件。只留结论,以后就判断不了它为什么有效、条件变了没有、当时是不是有人在中间补了一句关键的话。所以每次执行都该留下完整的证据:目标和验收标准,仓库和 Commit,用的模型、Prompt、Skill 和工具版本,喂给 Agent 的材料,它做了哪些动作、报了什么错、重试了几次,最后的 Diff 和测试结果,花了多少时间和钱,人在哪儿插过手、怎么裁决的。有了这些,复盘时才有据可查,也不至于把一次碰巧的成功写成到处适用的结论。

把证据变成能用的本事,大致是这么一条路:先看清这次发生了什么,从中找出哪些做法能复用、在什么条件下才成立,写成候选的 Skill、规则或检查项;再拿去和现在的做法比一比,顺便查查会不会把别的任务搞坏;比过了才正式用上,出了问题就撤回来。也不必非等同类事故出够几次。一次能复现、原因清楚的事故,就够写一条专门的回归测试了。

三、让教训变成拦得住的东西

一条教训,记下来,以后能查到;写进 Skill,下次干活能照着做;写成测试,再接上一道绕不过去的检查,才真能把同样的错误挡在门外。这三种做法,管用的程度差得很远。

DeepSeek Harness 这个仓库在这件事上分得很细:AGENTS.md 写任务规则,架构文档讲现在的系统,Agent Notes 记设计取舍,Post-mortem 讲事故,.agents/skills/ 放做法,测试和质量门禁负责把关。稍微像样一点的改动,都要在同一个 PR 里补上 Agent Note,写清选了哪个方案、放弃了哪些。[3] 这样知识跟着代码改动一起进仓库,不用事后再补。

它还管知识怎么退场。Agent Note 的状态只有提出、已实施、已否决三种;已实施但以后用处不大的,挪进单独的 archived/ 目录冻结起来,不再当作现行行为的依据。[3] 哪些现在还算数,哪些只是用来解释当初为什么这么做,分得清清楚楚。经验攒多了,过期的要是不挪走,照样会误导人。

DeepSeek Harness 还有一份编号 0001 的事故复盘。一个 ACP 服务一接上真实的编辑器就崩了。可出事时,178 个单元测试全部通过,行覆盖率是 100%。问题在于,测试里的插件是手工挂上去的,正好绕开了真实的 Loader 和服务解析流程,而错误偏偏就出在这段流程上。修复的办法是补上走真实 Loader 的测试,再加一条相关的包规则。[3]

测试写得再多,没走过真正出事的那条路,也拦不住这个错。要知道一道防线管不管用,就得拿它本该拦住的那种错误去试一试。

把经验写短,也有类似的坑。有份技术报告在 45 个科学计算编程场景里做了 4,590 次对照试验,比较同一份经验换成不同写法交给 Agent 时的效果。按它的统计方法,什么都不给、给一份文档式的 Skill、给一份写明该在什么情况下用并列出 AVOID 提示的 Gene,通过率分别是 51.0%、49.9% 和 54.0%。这是两个模型的平均数,换个模型,排序未必一样。报告还发现:把失败记录原样堆进去,效果反而变差,整理成条理清楚的警告才更管用。[4] 写短是为了让 Agent 照着做得对。要是把什么时候适用、在哪儿会失败一起删了,Prompt 是短了,经验却可能用错地方。

经验要是离开自己的仓库,拿给别的 Agent 用,又多出一层麻烦。EvoMap 的办法是给每份经验配上身份信息:Gene 是一种做法模板,写明前提条件、限制和怎么验证;Capsule 记下这份经验在哪个环境里验证过、遇到什么情况会用上、会影响到哪些地方;平台再规定好怎么发布、获取、反馈、验证和撤销。[5] 这样一来,分享出去的就成了一份查得到来历的经验。不过拿到手的经验,照样得在自己的环境里再验一遍。内容哈希只能证明它没被人改过,证明不了它是对的,更证明不了它适合眼下这个任务。

四、船队是大家的

一个人同时用好几个 Agent,产出确实上去了。可要是 Prompt、Skill 和经验都只放在各自电脑上,团队还是在重复造轮子:同一类问题,不同的 Agent 各自从头摸一遍;一个人用得好好的方法,换个人就接不上。

我想要的,是大家一起养一支船队。管业务的、写代码的、做验证的 Agent 可以各管一摊,按任务需要组合起来;大家共用的,是标了版本的知识和 Skill、工具接口、评测集和执行记录。至于任务数据和操作权限,还是照旧按范围隔开。

我们自己做的 tobe 算是往这个方向的一次早期尝试。它现在还只是一个人在本机用的 AI Wiki:一个人带着几个 Agent,正式改动都要这个人确认。[6] 它离团队协作还远,但做它的过程中,我想清楚了几件小事:聊天结束了,任务不一定就该停;Agent 提了建议,不代表这条知识就算定了;知识经过 review 和 merge 以后,还得说清楚从什么时候起 Agent 干活时能用上它。任务、知识、权限和执行记录都得各自存好,不能跟着某一次对话走。这样哪怕换了人、换了 Agent,也能接着干下去。

不过共享也会把错误放大。私人的 Skill 出了问题,坏的多半是自己手上的任务;共享的 Skill 出了问题,可能同时影响好几条工作流。所以共享之前就得把这些备好:标版本、做评测、先小范围试用、指定负责人、出了事能回滚。

谁来维护这些东西,也得想清楚。模块 Owner 管的是代码和系统,可一个业务任务常常跨好几个模块。拿实验平台来说,要维护的不只是某个服务的代码,还有实验怎么定义、数据怎么流转、哪些规则碰不得、以前栽过哪些坑、对应的 Skill 和验证案例,以及哪些事必须由人点头。所以工程师手上除了做需求,还多了一份活:盯着自己负责的领域,看知识还对不对,Skill 还管不管用,评测有没有覆盖到关键风险。模块 Owner 照旧负责模块,两边配合着干。

人在这支船队里的位置也要想清楚。要是每一步都得人盯着,那只是把”自己干”换成了”盯着干”。更好的办法是让 Agent 在允许的范围内自己往前推,遇到要做业务判断、要补充信息、要批准有风险的操作时,再来找人。找人也得有个找法,别只丢一句”卡住了”,而是像这样:

已验证三种路径:A 违反现有架构约束,B 会增加线上风险,C 技术上可行,但需要把数据延迟从 5 分钟放宽到 20 分钟。请确认本次任务是否接受这一变化;未经确认,不执行相关变更。

这样人要回答的,只是一个背景交代清楚、范围划定好的小问题,答完 Agent 接着干,不用把整件事交回给人。人的这次决定也要记下来。同样的判断反复出现、适用范围也稳定了,再经过评审,才变成规则或者 Skill。至于每次都必须审批的事,不会因为上回批过,这回就免了。

尾声:暗礁

代码会改,模型会升级,今天好用的 Skill 过一阵也会过时。能一直攒下去的,是团队弄懂问题、检验做法、纠正错误的那套办法。

Uber 在同一篇文章里提到,他们超过 70% 的 PR 算在本地或云端 Agent 名下,内部攒了 3600 多个 Skill,每天要执行 3 万多次。[1] 这是他们内部流程的规模,至于这些 PR 里有多少是 Agent 独立完成的,这些数字说明不了。规模一大,上面说的这些不起眼的功夫就躲不开了。

这套办法有没有用,不看 Agent 有几个、Skill 有多少、生成了多少行代码,要看同一类问题,下次是不是少绕了几步;以前犯过的错,有没有又冒出来;该叫人的时候,有没有叫。

一个人用 Agent,省下的是自己这一次的力气。一群人一起建,一次探索的收获才能留给后面所有的任务。

触礁谁都免不了。我只希望同一片暗礁,整支船队只为它付一次代价:付过的代价,总得留下点下次用得上的东西,哪怕是一条知识、一个做法,或者一道防线。


参考资料

文中公司项目的例子来自我们平时干活的记录,没有专门设对照组反复验证过,只能当经验看。网页与仓库引用核对于 2026 年 9 月 4 日。

  1. Uber Engineering. Running a Software Factory Efficiently at Uber Scale. 2026-08-27.
  2. WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution. arXiv:2608.27454v1.
  3. DeepSeek Harness:仓库、Agent Notes Specification、Post-mortem 0001: ACP server crashed on connect.
  4. From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution. arXiv:2604.15097v2.
  5. EvoMap. 生态介绍:Gene、Capsule、EvolutionEvent 与能力注册机制.
  6. wangwu-30/tobe:README.

讨论

评论

直接在本站留言交流。

评论正在加载…