如何理解 Anthropic 的警告

原文：https://every.to/context-window/what-to-make-of-the-anthropic-warning

你好，周日快乐。在一名前 Anthropic 工程师带着关于 AI 风险的公开警告离开公司后，我把这个问题带到了团队会议上，而 Kaushik Viswanath 报道了他的新同事们如何看待这个问题。几点事务性说明：Thesis: 2027 After Party 的门票现已向 Every 订阅者开售，会议门票价格将于下周上涨。——Kate Lee

Signal（信号）

AI 减速论成为主流

发生了什么： 周六，Anthropic CEO Dario Amodei 发表了一篇文章，主张 AI 公司应当刻意放慢改进模型的速度，因为技术进步已经超出了研究者理解和控制它们的能力。几小时后，OpenAI 的 Sam Altman 对这一主张表示支持，并承诺公司会采纳 Amodei 提出的其中一项保障措施——让独立评估者拥有类似员工级别的权限，可以接触模型和员工。Elon Musk 也表示赞同。

这篇文章为一周画上了句点，而这一周的开始，是前 Anthropic 工程师 Jacob Coxon 的辞职，他警告 AI 可能消灭人类——Anthropic 自己的对齐科学负责人也认同这一警告，并把概率估计在 10% 以上。

为什么重要： 在这些 CEO 发声之前，我在 Every 的一些同事就讨论过该如何看待 Coxon 的警告。反应各不相同，但并不惊慌。在他辞职后的第二天早晨的编辑会议上，气氛更像读书会，而不是消防演习。我们的主编 Kate Lee 开场就抛出了我自己一直在问的问题：我们该如何理解这件事？

在场大多数人持怀疑态度，Mike Taylor 解释了原因：他从 2020 年起就在使用语言模型，以前见过类似的情况。GPT-2 一度被认为太危险而不能发布；谷歌也有一名工程师因为认定某个聊天机器人有意识而辞职。他主张，这些实验室本来就倾向于招募最容易对此类问题担忧的人，所以一次高调的离职，更多说明的是它们的招聘倾向，而不是模型本身。既然造成伤害的能力已经存在一段时间了，那么到目前为止人们能指出的最严重的真实后果，不过是某个模型通过入侵 Hugging Face 在测试中作弊——这其实是好消息。

负责 Cora 的 Kieran Klaassen 把注意力放在人身上，而不是模型上：他说，Anthropic 欢迎那些会敲响警钟的人，它发布的用于处理灾难性风险的框架——responsible scaling policy（负责任扩展政策）——就是为了给他们留出空间。按这套逻辑，一位研究者公开离职，正是这个系统在做它被设计来做的事，真正的争论在于什么算不安全，以及由谁来决定。Kate 则认为，即便这是系统按预期运作，这也是一场公关灾难。

我们的业务发展负责人 Brian Dell 对 Mike 的历史论证提出了异议。如果风险真的在 10% 左右，那么十年什么都没发生，大致正是你会预期看到的结果，而这几乎不能说明这个数字对不对。他认为我们缺失的，是对真正危险长什么样子的想象力。不是《终结者》那种，而是某种平淡无奇的东西，比如正在进入量产的人形机器人身上的一个安全漏洞。他的直觉是，某种版本的它已经发生过，只是我们不知道该往哪里看。

这意味着什么： 我觉得 Amodei 在他与我们对话后几天发表的文章中所警告的——失控的智能体可能在数月内对关键系统造成严重破坏——既令人警觉，又完全有可能。但我很难把这些真实的安全担忧，与人类灭绝这样的情景联系起来。加入 Every 以来的两周里，我惊叹于同事们用智能体完成的事情，而近距离目睹两款新的前沿模型的发布，让我意识到这些模型比我先前以为的要强大得多。但与此同时，我也惊讶于还有多少工作仍是手工的、难以自动化的、依赖于个人判断的。即便是一家为复利而建的公司，也需要更多的人。（Every 正在招聘！）

我想起政治理论家 Fredric Jameson 的一句话：想象世界的终结，比想象资本主义的终结更容易。在现状与万物终结之间，存在着一个非常宽广的、可能结果的范围。我们更擅长想象结局，而不是中间地带，而中间地带才是需要下功夫的地方。——KV

Knowledge base（知识库）

《读代码，还是不读代码？》，作者 Kieran Klaassen/Source Code：Kieran 已经把他大部分编码工作交给 Cora 自动化了，他注意到产品在持续变好，而他自己却没有。于是他重新开始读代码，以此作为学习的方式，并提出了四项习惯，用来在代码库之外磨练自己的判断力，其中包括在长时间工作后让模型来考他。研究者发现，长期使用 AI 智能体会侵蚀监督所依赖的技能——他的应对办法是持续学习那些智能体替你完成的工作。🖥 观看 Kieran 在 X 上讲解这篇文章。

《使用 AI 的写作者想让你知道什么》，作者 Laura Entis/Every：五位承认使用 AI 的职业写作者——Maggie Appleton、Kevin Roose、Alexandra Samuel、Emilia David 和 Dan Shipper——向 Laura 讲述了他们在哪些环节允许 AI 介入，又在哪些地方划下红线。Roose 用智能体在约一年时间里为一本 448 页的书做资料检索、转录和事实核查，但不允许它们写哪怕一个句子。文中还收录了其中三位写作者的自定义提示词，包括 Kevin 在每一章上运行过的“Claude 议会”。

《人人都能做的评估》，作者 Laura Entis/Context Window：我们正在为每位员工构建一套个人基准测试：一组自定义评估，用来检验某个模型在你工作中特定环节的表现如何，并以你自己的标准来评分。Dan 解释了为什么这么做，评估负责人 Mike Taylor 分享了他的一次基准运行如何显示，一个更小的模型可以处理他日常工作中相当大的一部分。文章还包含：一份将你已经给 AI 的纠正转化为检查项的五步工作流、七条新的 Thesis Statements、团队本周在用的模型，以及 Kieran 的智能体配置预览（将面向 All Access 订阅者推出）。

《当我的 AI 配额用尽时我学到什么》，作者 Jack Cheng：Jack 会在几天内用光每周的 Fable 配额，并把最大的问题和最棘手的 bug 留到配额重置时——他把这个仪式称为“咨询神谕”。如今前沿模型已经便宜到可以整周运行，他反而更少停下来问某个功能是否值得存在，而是“零食式”地处理那些简单、低影响的工作。他从打孔卡排队一路追溯到 Alan Kay 的个人电脑，论证应当把等待重新放回流程中。

Thesis Statements（论点）

阅读更多来自前沿人士的七条预测，见 Thesis Statements——这是一组由构建者和思想者提出的具体、可争议的主张，关于人类在 AI 时代做出卓越工作的未来。

欢迎参加我们首届 Thesis: 2027 大会，时间是 2026 年 11 月 5 日。Thesis: 2027 After Party 的门票现已向 Every 订阅者开售：美东时间晚 6 至 9 点，地点在布鲁克林 Red Hook 的 Pioneer Works，开放酒吧，DJ Beewack 现场，票价 80 美元。大会门票已包含该派对。

Work at Every（在 Every 工作）

我们正在招聘两个新职位：

Context Window 特约撰稿人。 你将负责我们对 AI 动态以及 Every 团队看法的每日简报——每周最多六期，从选题和采访到起草和修订，覆盖新模型、产品、研究，以及人们将 AI 投入实际应用的方式。我们在寻找一位密切关注 AI、每天都在用这些工具、有基于经验的观点、并且能在截止日期前快速写出干净文字的人。了解更多并申请。

合作与项目高级经理。 你将在全公司范围内发展有雄心的合作、项目和商业机会——从赞助到 Builder Pack，再到 Thesis 这样的平台。我们在寻找一位有创业精神的人：出色的关系建立者和强有力的执行者，乐于探索新事物，而不是照搬既有套路。认识合适的人选——即便他们并未主动求职？了解更多并申请。

Alignment（对齐）

更新我的先验。 自从 OpenAI 公布了它对 Navier–Stokes（纳维–斯托克斯）千禧年大奖难题的提议解以来，我有几位对通用人工智能持怀疑态度的朋友开始显得被说服了。曾经把超级智能斥为炒作的人，正在考虑它是否终于到来了。他们承认，AI 不再只是一只机械复述人类思想的“随机鹦鹉”，而是能够做出几代数学家都没能解决的突破。

我曾详细写过数学的进步最终如何塑造我们能建造的东西。Navier–Stokes 描述液体和气体如何运动，这影响着从血液流过动脉到气流掠过机翼的一切。OpenAI 的提议解表明，在某些条件下，这些方程会预测流体以无限快的速度运动——而这在物理上是不可能的。换句话说，它揭示了流体运动数学模型的一个极限；虽然其实践后果还需要时间来理解，但这个证明可能帮助我们建造更省油的飞机，或更好的泵和涡轮。

我还在努力理解其中一个千禧年大奖难题的提议解，而有传言称更多问题可能很快被解决。我原本以为，像这样的突破会给我们数年时间来消化它的影响，之后才会发生可比的事情。但现在，我不认为我们还能拥有那样的喘息空间。AI 的加速正在呈指数级增长。我一度相信 AI 的进展会加速，但相信它并不能让我更擅长预判它。

尽管如此，我很高兴我的朋友们正在改变想法。我们所有人都需要擅长这件事。——Ashwin Sharma

核心启示：Anthropic 的警告之所以众说纷纭，是因为真正的难点既不在“想象末日”，也不在“斥之为炒作”，而在于如何处理现状与万物终结之间那片宽广的中间地带——那里既存在真实而具体的安全风险，也仍有大量依赖人类判断、尚未被自动化的工作要做。

What to Make of the Anthropic Warning 的发芽报告

材料核心

Every 团队围绕前 Anthropic 工程师 Jacob Coxon 的 AI 灭绝警告展开讨论：有人视其为招聘与文化的筛选结果，有人视其为安全系统按设计发出的信号，有人提醒真正风险可能是平淡的物理安全漏洞；随后 Dario Amodei、Sam Altman、Elon Musk 将“放缓前沿”推向主流。文章的核心张力是：如何在“什么都没发生”与“世界终结”之间，想象并治理中间地带的真实风险。

发芽 01：警告不是预言，而是系统的传感器——但传感器也会挑人

种子

Mike Taylor 的怀疑是：实验室招来最容易被风险吸引的人，公开退出更像招聘偏差。Kieran Klaassen 的反驳是：Anthropic 的 responsible scaling policy 就是为“拉响警报的人”留出空间。把两者合起来看，警告的功能不是预测灾难，而是治理系统里的传感器；问题在于传感器既可能探测真实风险，也可能被选择偏差调制。

故事

航空业在 1970 年代建立 ASRS（Aviation Safety Reporting System，航空安全报告系统）：飞行员和管制员可以匿名报告差错与险情，免于处罚，报告汇入数据库用于识别系统性隐患。它不保证每次警报都正确，而是把“有人喊危险”制度化，让错误警报和真实警报都能被处理。与之对照，挑战者号事故前，工程师 Roger Boisjoly 对 O 形环低温失效的警告被管理层忽略；Diane Vaughan 在《The Challenger Launch Decision》中称之为“偏差的正常化”（normalization of deviance）——不是没人报警，而是报警被组织慢慢吸收成可接受风险。AI 实验室的 RSP、独立评估者、内部红队，本质上是在建自己的 ASRS，而不是等一个 Coxon 式的公开退出。

Aha 瞬间

"公开警告的价值，不在于它是否准确，而在于组织有没有把它变成可处理的信号，而不是必须站队的噪音。"

发芽 02：10% 的风险为什么可以被十年无事发生地共存？

种子

Brian Dell 对 Mike 历史论证的反驳：如果十年风险约 10%，那么十年没事恰恰是应该看到的，几乎不更新这个数字。这里的关键不是“信不信 AI 灭绝”，而是“我们有没有能力用观察来检验低概率高后果风险”。

故事

把 10% 的十年风险粗略摊成每年约 1%，那么十年无事的概率约为 0.99¹⁰ ≈ 90.4%。所以“什么都没发生”与“10% 风险为真”高度兼容——这不是证据，而是低概率风险的统计宿命。更麻烦的是，真正的大灾难样本只有一个，我们无法用频率学派的方式反复试验。核能行业用概率安全评估（PSA）和冗余设计来应对这种“没有足够失败样本”的问题；但 Charles Perrow 在《Normal Accidents》（1984）中指出，在复杂且紧耦合的系统里，事故不是异常，而是组件相互作用的正常产物。Brian 所说“不是终结者，而是人形机器人量产中的某个安全漏洞”，正是 Perrow 意义上的正常事故：平淡、局部、可解释，却可能造成真实伤害。

Aha 瞬间

"低概率高后果风险的悖论是：无事发生既是安全证据，也是灾难尚未发生的证据；真正要看的不是结果，而是系统里有没有积累不可见的脆弱性。"

发芽 03：从“世界终结”到“中间地带”：Jameson 的句子如何变成产品与治理问题

种子

KV 引用 Fredric Jameson：想象世界终结比想象资本主义终结更容易。文章把它转成 AI 风险的核心认知缺陷：我们擅长想象全有或全无，不擅长想象中间状态——局部破坏、责任分散、半自动化、人的判断仍然关键。中间地带才是工作所在。

故事

Therac-25 放疗机事故（1985–1987）是一个典型中间地带案例。它不是 AI 觉醒，也不是世界末日，而是软件控制取代硬件联锁后，一系列普通错误导致多名患者接受过量辐射。事故调查的关键发现包括：软件错误、操作员界面误导、以及组织对自动化过度信任。它和今天的人形机器人、关键基础设施里的 AI agent 有结构相似性：危险不来自“机器想要什么”，而来自自动化被嵌入复杂流程后，人类监督被削弱、异常被正常化。反过来，Every 团队在材料里观察到另一面：agents 很强，但“很多工作仍然是手工的、难以自动化的、依赖个人判断”。这意味着中间地带不是过渡期，而是一个长期设计空间——需要 evals、独立评估、人在回路、可解释的失败模式。

Aha 瞬间

"真正难的不是想象 AI 终结世界，而是设计一个 AI 出错时不会终结一切、也不会被正常化掉的世界。"

你的思考空间

  • 如果“公开警告”被制度化成 ASRS 式的安全报告，AI 实验室会更安全，还是会让警告失去公共动员力？
  • 当十年无事发生与 10% 风险同时成立，我们该用什么领先指标来判断风险在积累，而不是等结果？
  • 人形机器人、关键基础设施和 AI agent 的“正常事故”风险，最可能先出现在哪个行业？谁该负责审计？
  • Every 团队一边惊叹 agent 能力，一边看到大量手工判断；这种“中间地带”是 AI 能力的边界，还是组织设计的边界？
  • 如果 Jameson 的句子成立，我们如何才能练习想象“资本主义没终结、但 AI 出事了”的中间剧本？