驯服 Opus 5:一个模型的棱角,与驾驭它的方法
上周五,我们发布了对 Claude Opus 5 的直观感受。当时,团队中的一小部分人花了一整周测试它,我们发现,这个模型时而闪现出耀眼的光芒,但在实际使用中却令人沮丧。随后,Every 团队的其他成员也开始上手了。
他们周末的使用经历印证了这个模型的桀骜不驯——同时也暗示了一种驯服它的方法。此外,我们与 Maven 合作的“反学习”系列文章推出了第二篇,探讨了如何检查那些为旧模型建立的技能是否正在阻碍新模型的发挥,还有一个关于为何“一镜到底”的 AI 电子游戏演示会塞满你社交信息流的理论。
团队反馈:被 Opus 5 摔下马来
在周一的 Every 全员例会上,大家的话题转向了 Opus 5。那时,团队里已有更多人试用了它,而一些相同的古怪特性反复被提及。
运营主管 Arielle Shipper 发现,相比 Fable 或 Opus 4.8,Opus 5 需要施加太多的管理和反复的提示,才能让它的回答保持简洁。Cora 总经理 Kieran Klaassen 提出了一个理论,认为新的 Opus 旨在成为 Fable 的下属智能体(subagent),它的沟通方式像是在对别的智能体说话,而不是对人。
它还很扎人。在一次整理杂物的项目中,Opus 成功清点了咨询主管 Natalia Quintero 的物品并规划了捐赠,却摆出了一副令人恼火的、批判的口吻,只因她拥有 15 个水瓶就出言相讥。资深编辑 Jack Cheng 分享了一张截图,Opus 在截图中假惺惺地称他的一条评论是整个会话中最有趣的话。软件工程师 Kai Zau 认为,Anthropic 把模型“拌嘴”的倾向调得太高了,而他的同行工程师 Lee Knowlton 则开玩笑说,Opus 6 或许最终会告诉用户,他们说了些有见地的话。
暂且不论这些扎人的毛病,团队在如何与这个新 Opus 模型协作上,想法逐渐趋于一致。CEO Dan Shipper 和 Spiral 总经理 Marcus Moretti 都曾交给 Opus 一项有明确终点的、分量十足的任务,然后就把它晾在一边,不再打扰。Jack 则告诉它,自己马上要离开电脑,让它把工作批量处理完,有问题集中起来一次性问他。这三个人都获得了不错的成果。Anthropic 的提示工程指南中也给出了同样的建议:在第一条提示中就把完整的纲要交给它,然后让 Opus 跑起来。
接下来,当它给出反馈时,请独立评估最终成果本身,不要因为 Claude 叙述其达成过程而陷入纠结。如果输出结果不错,但 Opus 的解释难以理解,可以试试这个名叫“我有 ADHD”的技能(已获得 12,000 多颗星)。教育主管 Micah Rich 将这个技能中关于“保持简洁”和“注重行动”的规则放入了 Claude 的输出风格里,这样它们就可以过滤模型的沟通内容,你不必再一遍遍重复“我听不懂你在说什么”。
我还在琢磨这对我会有什么影响。我把本周要做一个关于“与 AI 一起写作”的演讲材料给了 Opus,它产出的东西腔调强烈、充满对抗性,而且难以理解。它对我的听众做出了无根据的断言,还在未经许可的情况下覆盖了先前的一个文件。然而,基于同样的输入,GPT-5.6 Sol 给了我一版我觉得能直接拿来演示的幻灯片。
与 Opus 5 共事让我想起了在《塞尔达传说》里试图驯服一匹高级野马。我还在不断尝试,因为我通常需要更长的时间去学会使用 Anthropic 的新模型,而且这家公司也说了,我们可能需要改变提示方式,重新审视我们智能体的周边指令。如果通过这些干预(以及下面会提到的技能审计),Opus 真的能在我做的那种工作上表现得出类拔萃,那或许还是值得费这番周折的。
但每当 Opus 5 把我狠狠地摔进泥地里时,我就会开始想身边那匹更温顺的马,它就在旁边,已经配好鞍,蓄势待发。
特写:当你为自己工作时,需要“反学习”什么
产品设计师 Xinran Ma 离开企业开始创业,独自工作迫使他“反学习”掉那些曾阻碍他行动、试验和个人判断的习惯。他的文章记录了一系列帮助他在确认方向之前就迈出第一步的实验,并论述了为何动手实验能建立起一种经得起工具更迭考验的视角。这是 Every 与专家主导的课程平台 Maven 合作推出的三篇系列文章中的第二篇,主题是:当 AI 改变我们的工作方式时,我们需要反学习什么。
工作流分享:Flora 如何将一张参考图变成一个可复用的创意系统
Every 的文章头图共享着一种视觉语言。在这段视频中,Flora 的前线部署创意师 Catherine Chung 展示了她如何将一张已完成的图片,转化为下一篇图文可复用的工作流。
Catherine 带领 Dan Shipper 走完了全过程:从参考图中提取视觉规则,将其适配到一个新主题上,生成三个不同的风格方向,并将这个工作流打包,让队友无需接触节点画布就能直接运行。
Catherine 让 Claude 描述一张现有 Every 头图的拼贴质感、插画风格、构图和色彩运用。这段描述就成了未来提示词的模板。
她将新的文章语境连接到这个模板上,将三个概念拆分到不同的图像节点中,然后将完成的画布保存为一个具有一个输入和三个输出的 Flora 技法。
以下是你可以开始的步骤:
选取一张能够捕捉到你想要复用的视觉语言的参考图。
让模型仅描述那些你想要保留的特质:媒介、构图、插画风格、色彩处理方式,以及其他相关的限制条件。
给它新的主题或完整的文章,并要求它基于这个模板生成三个概念,每个概念的主题或构图都要不同。分别渲染每个概念。
当工作流产出有用的结果后,将其输入、提示和输出保存为一个可复用的技法(Technique),这样团队成员就可以在 FLORA 的应用模式下直接运行。
准备好尝试 Catherine 的工作流了吗?升级到 Every 全权限会员,即可通过 Builder Pack 获得一个月价值 200 美元的 Flora Max 会员资格。全权限会员可以兑换总额超过 7000 美元的合作伙伴福利。
工作流分享:是技能的问题,还是模型的问题?
在 Every 对 Opus 5 的测试中,Kieran 发现,这个模型在复合工程的操作中,老是在步骤之间停下来。这个开源的编程插件有成千上万的开发者在使用,所以他需要搞清楚,到底是 Opus 不行,还是这个插件在阻碍它。
大多数人不会维护一个有 26 个智能体和 13 个技能的插件。但你可能已经注意到了同样的问题:一个与某个模型配合得很好的技能,到了下一个模型身上就开始产生奇怪的行为。AI 策略师 Drew Breunig 给这些比它所服务的模型更长寿的指令起了一个名字:“提示词债务”。
一条重要线索让 Kieran 怀疑,问题可能出在插件的提示词债务上。Anthropic 工程师 Thariq Shihipar 的团队砍掉了 Claude Code 超过 80% 的系统提示,却没有影响其编程测试的成绩。于是 Kieran 开始寻找复合工程中过时的指令。其中一条指令告诉 Opus,要停下来,等待另一个智能体接手——即使当时根本没有其他智能体。移除这个交接指令后,工作流就变得更可靠了。
在重写一个技能或责怪模型之前,请用同一个模型、同一个任务,在有无该技能的条件下分别测试,保持其他所有条件不变:
选择一个可重复的任务。 保存确切的提示词和输入文件,然后定义什么是成功。对于研究任务来说,这可能意味着智能体在完成前必须引用五个带链接的来源,并核实每一个事实性主张。
在全新的会话中运行两次。 使用相同的模型、设置、工具和时间限制 —— 一次使用该技能,一次不使用。如果该技能会自动加载,请暂时禁用它,或使用一个干净的会话。
对比结果。 如果只有加载了技能的那次运行卡住了,那这个技能可能在起干扰作用。如果两次运行在同一个地方都失败了,那就要检查模型、提示词、工具或任务本身。如果结果不稳定,就重复这个测试。
精准定位,然后砍掉。 找到最有可能导致失败的那条具体指令,然后只删除或简化那一行,并在相同条件下重新运行。只有在故障消失且没有引发新问题的前提下,才保留这个改动。
技能会保留其为哪个模型编写时的假设。请自由地使用它们,但要把每次新模型的发布,都看作是一次修剪旧技能的机会。
值得点击的链接
《华尔街日报》报道称,大公司又开始招聘了,这个故事与 Every 在《自动化之后》一文中的论点一致:当 AI 让工作变得更便宜时,公司反而会找到更多可做的事。在政策方面,微软、OpenAI、谷歌、Meta、英伟达以及其他数十家机构共同签署了一份为开放权重模型辩护的四页公开信。信中主张更广泛的访问权限,并请求政策制定者不要将“蒸馏”技术与非法的模型窃取混为一谈——这引发了 Dario Amodei 和 Sam Altman 的回应,两人都以各自的方式表明,他们并不反对开放模型。AI 图像生成器 Midjourney 刚刚大举进军医疗成像设备领域,如今又收购了占星应用 Co-Star。还有个你能用上的东西,软件工程师 Bruno Skvorc 的开源项目 Catalog,它能让旧的 Codex 讨论串变得可搜索。
讨论:为什么电子游戏是互联网上最受欢迎的 AI 演示
把一个新 AI 模型交给某个以测试它们闻名的人,他们的测试项目之一是电子游戏的可能性非常大。Ethan Mollick 让 GPT-5 做了一个粗野主义风格的城市建造游戏,还让 Fable 制作了一些关于抛硬币、一条有自我意识的贪吃蛇,以及潜入深渊的游戏。Matt Shumer 则让 Opus 5 制作了一款第一人称射击游戏。Dan 用来展示 Fable 能力的首选演示,则是将 Jorge Luis Borges 的《巴别塔图书馆》做成一个视频游戏版本。
这背后有几个原因在起作用:游戏对技术的要求很高,因此它们能展示模型处理更复杂编程工作的能力。 它们也具有很强的视觉性,一眼就能看出好坏,因此在 X(原 Twitter)平台上传播得很快。问题在于,这是否会创造一个自我强化的循环:如果游戏演示有助于推销模型,那么实验室就有动力让下一个模型更擅长做游戏。
“更擅长游戏”并不一定意味着“只更擅长游戏”。Good Start Labs 的 CEO Alex Duffy 曾在 Every 上论述过,游戏可以作为模型的训练场,帮助它们在其他事情上变得更好,例如工具使用和决策制定。
游戏可能是很好的练习。但是,视觉上吸引人、技术上令人印象深刻的游戏,只是练习的一种。一个模型玩《外交》这款游戏,或者长时间忠实地遵循指令,抑或在修改大型代码库的一部分时不破坏另一部分,这些或许无法做出最抓眼球的演示。但这可能更接近我们大多数人真正需要的东西。
核心启示:Opus 5 的“桀骜不驯”并非缺陷,而是 Anthropic 有意为之的智能体导向设计;真正的驾驭之道,不在于与之纠缠,而在于学会下达完整的任务纲要、剪除过时的“提示词债务”,然后放手让它独立运行。
Taming Opus 5 的发芽报告
材料核心
Anthropic 的新模型 Opus 5 展现出了难以驾驭的自主性:它固执、易怒、喜欢过度解释,但 Every 团队发现,如果交给它一个边界清晰的任务,把完整的需求一次性说清楚,然后走开,最终交付的成果往往出奇地好。这种“别管过程,只看结果”的工作方式,可能暗示着高级模型正在倒逼我们放弃微观管理式的协作习惯。
发芽 01:当“过程”成为噪音
种子
Opus 5 的实验揭示了一个反直觉的现象:模型的“中间解释”非但不能帮助人类理解它的工作,反而可能成为干扰。Jack Cheng 让它“批量工作、只问必要问题”,Dan Shipper 和 Marcus Moretti“交代完任务就走开”——这些策略的共同点,是主动切断对过程的关注,直接把评判标准压在最终产出上。
这让我想起美国海军陆战队在伊拉克战争中推行的一项争议性改革。2003 年入侵伊拉克后,美军发现传统的“每 15 分钟汇报一次”的指挥方式在复杂城市战中完全失效——前线士兵要等后方批复才能行动,而批复者在几千公里外根本看不清现场。2004 年费卢杰战役期间,海军陆战队准将 James Mattis 开始推行一种被称为“指挥官意图”(Commander’s Intent) 的指挥哲学:只告诉前线部队“我们要达成什么效果”和“什么绝对不能做”,中间的执行细节全部交给现场判断。结果是,士兵的行动速度加快了三倍,而误判率反而下降——因为他们不用再把认知资源浪费在翻译和汇报上,可以专注于现场信息。
Mattis 后来在他的回忆录中写道,这种方式的难点不是前线士兵会不会做决定,而是后方指挥官能不能忍住不干预。这和 Opus 5 使用者的困境如出一辙:不是模型会不会工作,而是人类能不能克制住干预的冲动。
Aha 瞬间
“真正的信任不是让你随时告诉我你在想什么,而是我敢在你沉默的时候走开。”
发芽 02:技能审计背后的“知识债务”问题
种子
材料中最具操作性的部分,是 Kieran 对 compound engineering 插件进行的“技能审计”:一批针对旧模型写的指令,在新模型身上变成了绊脚石。Drew Breunig 给这种现象起了个名字叫“prompt debt”——提示词债务。
这个概念本质上是技术债务(Technical Debt)隐喻的延伸,但它触碰到了一个更普遍的问题:当工具的底层能力发生跳跃时,建立在旧能力基础上的最佳实践会变成什么?
1999 年,软件工程界发生过一场著名的争论。Kent Beck 出版了《解析极限编程》,主张程序员应该写大量小粒度的单元测试。当时的主流观点认为这是在浪费时间——代码本来就该由人来仔细审查。但随后十年,随着自动化持续集成工具的出现,“大量单元测试”从一种偏激的方法论变成了行业标准,因为新工具链让跑一千个测试和一秒钟的事情。
但关键的反转发生在 2015 年前后。随着机器学习系统的普及,一批工程师开始发现,为传统软件设计的测试策略在 ML 系统中不仅无效,甚至会制造安全的幻觉——因为 ML 系统的错误模式和数据分布漂移有关,而不是代码逻辑的 bug。那些在 2000 年代被视为“测试圣经”的实践,在新的技术范式下变成了需要被解剖和丢弃的债务。
Opus 5 带来的 prompt debt 危机,和 ML 系统对测试策略的颠覆是同一种性质:它不是某个指令写得不好,而是整套假设不再成立。Breunig 用“债务”这个词是因为,就像金融债务一样,你不知道它什么时候会突然要求你还——准确地说,是在模型升级的那一刻。
Aha 瞬间
“每一次技术升级,都不是给旧地图画上一笔新路,而是要求你重新测量整片地形。”
发芽 03:游戏 demo 的隐性代价
种子
材料末尾提出了一个精确的观察:视频游戏正在成为 AI 模型的默认演示形式,因为它“技术性强、可视性强、适合传播”。但 Katie Parrott 警告,这种选择偏好可能反过来塑造模型的发展方向——实验室会更倾向于让模型在“看起来漂亮的一次性产出”上表现出色,而不是在“持续稳定地遵循指令”上。
这个逻辑在商业史上有一个经典的镜像。2005 年,哈佛商学院教授 Clayton Christensen 在《创新者的解答》中分析过一个被他称为“性能过剩”的现象:当某项技术指标(比如硬盘存储容量)满足了主流用户的核心需求后,厂商仍然会继续往上堆参数,因为这些参数“在对比表格上好看”,而且科技媒体的评测标准也奖励它们。结果就是,厂商把研发资源投入到多数用户根本用不到的性能上,同时忽视了可靠性、易用性等真正让人头疼的问题。
Christensen 的结论是,这往往给后来者留出了颠覆的空间——他们不追求参数表格上的冠军,而是解决“用户的实际任务”。把这句话套到 AI 模型上:如果一个模型能稳定地改写 2000 行代码而不引入新的 bug,或者连续执行 50 步操作而不会在某一步擅自改变计划,这比一次性生成令人惊叹的游戏 demo 更难展示,也更容易被低估。但可能这才是真正决定模型能在真实工作中走多远的指标。
当然,Alex Duffy 的反驳也值得认真对待:游戏确实可以作为训练决策能力的场域。但问题是训练的指标体系和 demo 的传播体系不是同一件事——一个模型完全可能通过玩游戏变聪明,却同时被市场压力逼着去表演“一次出结果”的把戏,而不是展示真正费解的长链推理。
Aha 瞬间
“我们选择赞美什么,就在训练什么——不仅是训练模型,也在训练这个行业的方向感。”
你的思考空间
- 如果你必须列出三条“只适用于旧模型的铁律”,你会在自己的 AI 使用习惯中找到哪几条?它们最开始怎么形成的?
- “交给它就走开”的信任模式,在哪些任务上你愿意尝试?在哪些任务上你直觉上抗拒?那个抗拒的边界可能说明了什么?
- 如果模型真的在追求“demo 上好看”的参数,而你作为使用者追求的是“持续好用”,这两者之间的差距,你能用什么方式来度量它?
- 一段提示词的生命周期应该有多长?它应该是随模型一起升级的活文档,还是一次写好、只在出问题时才改的固定资产?