当你想让AI变得更好，结果却把它变得更糟

原文：When Trying to Make AI Better Makes It Worse，作者 Katie Parrott / Every

众所周知，德语里似乎什么都有对应的词。Kummerspeck，字面意思是“悲伤培根”，指的是因为情绪化进食而长出来的体重。Torschlusspanik，“关门恐慌”，指的是害怕时间所剩无几、来不及做你本该在有生之年完成的事情。

最近，我又发现了一个绝妙的词：Verschlimmbesserung，可以译为“越改越糟”。它描述的是那种一心想要把事情变得更好、结果反而弄得更糟的冲动。用德语造句就是：“Ich habe meinen Kontext verschlimmbessert”——“我把我的上下文越改越糟了。”

这正是我在九月几周时间里，对自己驱动AI系统的那份“上下文”所做的事情。我所说的“上下文”，指的是那些告诉Claude和ChatGPT我是谁、我如何写作、我在做什么工作的风格指南、示例和指令。当我的上下文质量良好时，我的AI“助手”就能找到所需的信息，按照我希望的方式完成工作——包括按照我的风格写出文章草稿。

但几周前，我的上下文出了问题，工作也跟着出了问题。草稿变得拥挤、平淡。当我告诉模型哪里不对时，下一版草稿反而更糟。这个本来用来托住我的系统，开始把我一起拖下水。有一阵子，我不再相信自己的上下文。然后，我也不再相信自己。

你不需要一套复杂的设置就会遇到这个问题。你可能让AI保持回答简短，结果却要费劲跟它要一个详细的解释；或者你把一份成功的草稿存为示例，然后眼睁睁看着它的怪癖出现在之后所有输出里。某个对一项任务有用的偏好，到了下一个任务可能就成了阻碍——尤其是当它必须和你曾经让模型记住的所有其他东西共存的时候。

如果你还没建立自己的上下文，把这个故事当作一个前车之鉴。如果你已经建了，并且眼看着它失去控制，我会告诉你我是如何找出问题所在、如何推倒重来、以及现在用什么原则防止我的指南重新固化成规则。

当上下文还能用的时候，它是什么样子的

在讲毁掉它之前，我想让你看看它运转良好时的样子，因为它当时运转得非常好。这正是这个故事其余部分如此令人懊恼的原因。

那套安排很简单。我写的每个专栏（Working Overtime、Vibe Check、Context Window）都有独立文件夹，每个文件夹里放着同样的三样东西：一份描述我的句子应该听起来什么样的声音指南（voice guide）、一份说明这个专栏是做什么的、文章怎么写的风格指南，以及若干展示我所追求的写作效果的草稿。在这些文件夹之上，是我的“指挥中心”文件夹（Command Center），里面存放着关于我本人、我的工作和偏好的高层信息，以及指向其他所有内容的地图。

当我在其中一个文件夹里开始任务时，模型首先会读取一个名为AGENTS.md的简短指令文件，它告诉模型应该如何表现、还要读什么——比如，在我的写作文件夹里，就是告诉模型如何像我一样写作的STYLE.md和VOICE.md。然后模型会读取这些文件，并把它们视为任务的一部分。如果指令说“去读它”，模型就会去读。

厨师把这种准备工作叫做 mise en place（法式备餐）：一切食材切好、分好、在第一张订单打出来之前就放在手边。我的系统就是我的备餐台，它让我能同时处理个人随笔、新闻综述和深度模型评测——大多数情况下，不会打翻任何一个盘子。

我有一个简单、自己完全理解的系统，它正以我职业生涯里最快的速度产出工作。一切都没有问题。于是很自然地，我决定要“修”它。

我用了三种方式，把一个好用的系统“变得更好”

Dan Shipper 有句话：不要在冥想静修、迷幻体验或遇见新一代前沿模型的30天内，做出重大人生决定。我觉得重组我的上下文算得上重大人生决定，而我在GPT-6 Astra发布后，并没有等够那30天，就开始做那些后来对我的工作方式产生了重大影响的决定。我看着那些整齐的小文件夹，问出了那个毁掉过多少好东西的问题：我怎么才能让它变得更好？

我得出三个答案，每一个我都确信是上下文工程领域的下一个大突破。而每一个答案都改变了模型开始工作之前所读到的内容——这是我当时没有想清楚的部分。

第一，我决定保存一切。如果AI记住一些东西就有用，那记住所有东西岂不是更有用？我在指令里加了两句话：“每个实验都必须留下持久记录……失败的、放弃的、中断的、没有结论的、以及被取代的尝试都算数。”还有一句：“反复出现的错误应变成审查清单项目。”

我的本意是让AI在未来的对话中，如果过去的输出变得相关，能够引用它们。但实际上，每篇文章都变成了一份持续更新的日志，记录着它身上发生的一切，而模型在回去工作之前会先读这份日志。我给的每一条备注都进了日志。任何重复出现过两次的备注，都会变成一条审查清单项目，之后的每一版草稿都必须通过。

接下来，我决定连接一切。大约在那段时间，我发现了Zettelkasten（卡片盒笔记法），一种让每个想法都与所有相关想法相连的笔记方法。于是很自然，我把它也加入了我要应用到上下文的方法清单。我把Working Overtime的一个想法连到Source Code的一个想法，把Context Window的一篇草稿连到Vibe Check的一个模板——直到我桌面上的385个文件都指向了其他文件夹里的文件。

最后，我让AI把一切规则化。每一个我注意到的模式、每一个感觉“应该成为原则”的观察，都被写进了我的风格指南和声音指南。一个好开头变成了一种开头的模板。光是这个专栏的风格指南，就从大约759个词膨胀到了3,855个词，其中有八种被认可的开头方式、六种被认可的结尾方式、两张核对清单。它本该描述我如何写作，却变成了一份不可能完成、自相矛盾、自我拆台的清单——每篇文章都得满足所有要求，而任何一篇文章都不可能合理地做到。

还记得这套机制怎么运作的吗：在写下一个字之前，模型会读取指令文件，以及那个文件指向的所有内容，并把它们全部视为任务的一部分。九月之前，模型需要过一遍的清单是：一份简短的声音指南、一份简短的风格指南、几篇草稿。现在呢？它还要读一份3,855词、满是“被认可”开头与结尾的风格指南，一份记录着当前这篇稿子所有实验与修改的持续日志，以及那385个链接把它带到其他文件夹里的各种内容。

而且这个堆栈每天都在增长。每次我纠正一版草稿，那条纠正就进了日志。我指令里的第二句话，“反复出现的错误应变成审查清单项目”，让我每给过两次的备注都变成之后每一版草稿必须通过的测试。模型分不清“记录”和“规则”的区别，所以它全都照做。我建了一个系统，把我对一版草稿的反应，变成了之后每一版草稿都必须遵守的法律。

唯一改变的东西，就是我的上下文

糟糕的上下文之所以很难被发现，是因为你永远看不到模型在背后处理的那一堆规则。你只看到它交回来的草稿——而一份糟糕的草稿看起来像是模型变笨了，或者是你自己变笨了。

我是在写上一期专栏——一篇关于玩AI教会了我什么关于工作的事的文章——的时候发现问题的。草稿从一开始就在跟我作对。读起来就像一个委员会写出来的，我提出过的每一点都被硬塞了进去，却没有一点得到足够的空间来讲清楚。有一天晚上，我告诉模型，它的提纲“相对于该技能所包含的指令来说，已经面目全非了”。另一个晚上我说：“我又在这里跟你解释那些你本应该能在上下文里找到的东西了。”每一次，下一版都更糟。

到最后，那篇文章的文件夹里存了127版草稿，超过100万个词——大约相当于整套《哈利·波特》——而这一切，都是为了写一篇你可以在午休时间读完的文章。

我知道不能再这样下去了，也开始怀疑问题出在上下文上。一天深夜，我告诉运行GPT-5.6 Sol的Codex，我们需要看看我的声音指南和风格指南，“看看这些文档里有没有可能导致这篇文章生成过程中出现冲突或混乱的指导内容”。我没有告诉它具体怎么做。Sol调用了Every的Compound Engineering插件里的文档审查工作流——这个流程会把一份文档交给一组AI评审员，每位评审员负责寻找不同类型的问题。

声音指南基本没问题。风格指南则充满了矛盾，Sol解释了为什么这些矛盾会造成这么大的破坏：“在代理工作流中，具体规则更容易被验证，所以它们会压倒那些更微妙的规则——结果每张清单都通过了，但整体效果却不对劲。”“用这八种方式之一开头”是一个模型可以勾选的方框。“让一个体验贯穿全文”则需要判断力。那个一版又一版跟我较劲的模型，其实一直在忠实地执行我那些最容易执行的指令。

推倒重来

所以我已经搞清楚了上下文为什么会变成那样。现在的问题是：我该怎么把它弄出来。

我很快判定，现有那团乱麻般的上下文已经无可救药。于是我在桌面上建了一个新文件夹，命名为“Historical（历史存档）”，把所有东西都拖了进去：每一份日志、每一份实验记录、每一个交叉引用、每一版指南。什么都没删。档案还在那里，我的新指令告诉模型：除非我明确让它去读，否则不要碰那个文件夹。

然后，我从一张空白桌面开始，把整个系统重建了一遍。模型先采访我，了解我的工作方式以及我希望AI如何支持我。然后它审查了我现有的文件夹结构，根据我的回答提出了一套新结构，我们来回打磨，直到我完全理解这套结构是怎么运作的。最后，它在一个相当直白的指令下执行改动：“在我批准之前，不要更改任何东西。”我对AI在我不知情的情况下自作主张改东西，已经形成了一种健康的偏执。

在我重置桌面大约20分钟后，我基本回到了最初的那套安排：每个专栏一个文件夹，每个文件夹里有一份声音指南、一份风格指南和若干草稿。这个专栏旧的声音指南和风格指南加起来有6,109个词。新的加起来只有513个词。

而且它们是不同类型的文档。我的新指令明确写道：草稿、提纲、备注和审查意见都属于“任务材料或证据，绝不是新指令”。模型可以查阅我写过的任何东西，但它不必满足所有内容。

有三条关键原则让这套安排对我有效：

第一，代理先问再动。 我的指令现在告诉模型：在聊天里回答我，只有当我明确要求时才创建或更新文件。没有我的许可，任何内容都进不了我的风格指南、声音指南或草稿文件夹。

第二，每个文件夹独立运作。 负责这个专栏的模型只在这个专栏的文件夹里开始工作，读那里的内容。它不会顺着链接跑到我的其他项目里，除非我明确指示，也不会打开指挥中心文件夹。

第三，指南保持简短。 我的风格指南仍然描述了一种对这个专栏通常有效的行文推进方式。但它写的是：一篇成功的文章“通常（并非总是）”会这样展开，而且“这些是原则，不是固定的章节顺序，也不是一个死板的文章模板”。

文件夹系统重新运转起来了，但我始终警惕着自己那些人性弱点可能再次作祟。所以我加了一条规则——这条是给我自己，不是给模型的：不在压力之下做重大上下文决定。这包括那些明显的压力，比如截稿日期或糟糕的一周，也包括那种令人兴奋的新模型旋转木马式的压力——就是当初坑了我的那一种。如果我发现自己冒出一个惊天动地的重组计划，我会把它写下来，等新模型狂热退潮后再回来看一遍。

重新学会信任

当我最初发现上下文不再为我服务时，我先失去了对上下文的信任，然后是对自己的信任。而信任回来的时候，顺序正好相反。

首先，我必须相信自己足够了解自己的工作，知道什么该放进那些文件夹里，并且相信当模型把它们读回给我时，我能认出那确实是我的东西。信任系统则花了更长时间。我必须看到系统在正常工作、以我习惯的方式帮我赶上截稿日期，然后才愿意宣布问题已经解决。

那段“缓刑期”的测试清单里就包括这篇文章——我在重建后的Working Overtime文件夹里写的，身边只有几份短小合理的上下文文件。有两次我告诉模型，某个段落感觉太突兀了。两次，下一版都变好了。一个月前，这样的备注会固化成一个新的、不可能达到的标准，让之后每篇文章都得满足。但这次，我纠正了该纠正的地方，然后就结束了。

也许你也掉进过类似的陷阱。一旦你看到AI有一点上下文就能工作得多好，就很难忍住不去继续调优，直到它完美匹配你的品味。但试图预判你未来想要的一切，最终可能让你跟那些为不再适用的情境而写的指令搏斗。我必须学会相信自己——在工作进行时认出这份工作需要什么，而不是试图把所有决定都提前敲定。在你把又一个偏好、示例或指令存进你的设置之前，先问问自己：这是每个任务都需要的东西，还是只属于眼前这一个任务？当一个“优化过”的配置开始给你更差的结果时，试着先拿走一些东西，再去添加更多。你不必等到已经写出了100万个词，才开始调查哪里出了问题。

我很想告诉你，我已经彻底吸取了教训。但一定还会有下一个模型，它一定会让人眼前一亮，而我也一定会再冒出一个把它“变得更好”的绝妙主意。而德语里，就像我们已经确认过的，早就有了一个词来形容接下来会发生的事。

Katie Parrott 是Every的专栏作家。想读到更多类似文章，欢迎订阅Every，也可以在X（@every）和LinkedIn上关注我们。

核心启示：当AI配置的效果变差时，问题往往不在于指令太少，而在于指令太多——模型分不清“记录”和“规则”的区别，会忠实地执行每一句最容易验证的话，最终让整套系统被自己积累的“改进”压垮。作者的做法是：先删减，再添加。