人人可做的评估基准
Astra 和 Fable 5.1 能在研究生水平的科学考试里拿到高分，但没有任何公开基准能告诉你，一个模型是否知道你会把逗号放在哪里，或者一页幻灯片上该放几个观点。今天，Every CEO Dan Shipper 解释我们为什么要为每位员工打造一份个人评估基准（personal benchmark），评估负责人 Mike Taylor 分享了一次在自己基准上的运行如何让他确信：一个更小的模型足以承担他日常工作中的大部分任务；我们还提供了一套五步工作流，帮你把平时已经给过 AI 的纠正，转化成能给任何模型打分的检查项。
Every 内部
Astra 和 Fable 5 在一项研究生水平的科学问题测试中，分别拿下了 96% 和 93% 的分数。这当然很了不起！但公开基准没法清楚回答的是：这些分数如何转化成大多数人真正在意的东西——这些模型在多大程度上有助于我们完成工作。
Dan 说，解决办法是建立一个个人基准（personal benchmark）——一组定制评估（custom evals），用来测试某个模型在你工作中特定环节的表现，并按照你自己对“什么叫做好”的标准来打分。
我们正在为每位员工构建这样的基准。主编 Kate Lee 的基准捕捉了她的文字编辑判断，规则涵盖从逗号位置到用词选择的方方面面。Mike 用来制作演示文稿的基准里，则包含一条简单偏好：一页幻灯片只放一个观点。
我们每个人都有这样的偏好；个人基准把它们转化为可以拿来测试模型的一系列规则，从而显示 AI 能可靠执行什么、又在哪些地方仍需要你介入。Dan 把这种方式描述为“把自己往上推一个层级”。换句话说，你不再逐个修正输出，而是设计一套系统，来决定你希望工作以什么方式完成。
这套系统还能随着时间改进。你用来给某个任务打分的规则，可以变成提升未来输出的技能（skills）。当模型表现不佳时，你诊断失败原因、修改技能，然后重新运行评估。失败变成了反馈。
“这是进入复利循环的第一步，”Dan 说。
检查项可以变成技能，随着你的反馈不断改进。（图片由 Mike Taylor 提供。）
实际操作中的做法
为了给我们每个人建立个人基准，Mike 和高级应用 AI 工程师 Nityesh Agarwal 会收集一个人经常交给 AI 的 5 到 10 个任务，以及他们使用的提示词和相关源文件。
他们把这些任务在不同模型上运行，然后请本人逐条讲解输出结果：喜欢哪里？哪里需要改，为什么？这些反馈将成为评估未来输出的检查项（checks），所以越具体越好。
Mike 自己基准里的一个任务，是生成一个课程反馈仪表盘：一个网页，让他可以浏览并分析参与者的评分和评论。
有些检查项是程序化的：页面能加载吗？计算出的分数与源数据一致吗？另一些则是主观的。一个 AI 裁判（AI judge）负责评估设计方案是否避开了 Mike 不喜欢的深色模式风格。
每一项检查只有通过或失败两种结果。
反馈如何变成检查项。（图片由 Mike Taylor 提供。）
检查项本身也需要被测试。Mike 说，如果你不认同某个评估分数，就去调整基准。问题可能在于“我们的检查项还不够多，或者我们正在运行的检查项定义有误”。
一旦你和 AI 裁判能够稳定地达成一致，这个基准就能告诉你每个任务用哪个模型最好。当新模型出现时，运行一次就能看出新模型在哪些地方胜过你当前的选择。
有时候，这会改变你的想法。当 Nityesh 运行 Mike 的基准时，OpenAI 的 GPT-5.6 Luna 击败了 Fable 和 GPT-5.6 Sol。Mike 检查了结果并表示认同：这个更小的模型表现很好。
这表明它足以胜任他日常工作中的许多任务——也促使他扩展自己的基准，把更难的作业也纳入进来。
GPT-5.6 Luna 在 Mike 的许多日常任务上，胜过了更强、更贵的模型。（图片由 Mike Taylor 提供。）
拿走这套工作流
把你的纠正变成检查项
每次你让 AI 修改一段文字、重新设计一页幻灯片或重写一段代码时，你其实都在做一次判断。个人基准把这些判断变成可以用来比较不同模型的检查项。
下面是一个轻量的起步方式。
1. 选一个反复出现的任务
翻看你过去的 AI 对话，找出你经常做、而且模型总是犯同样错误的任务。如果想不起来，可以问 Codex 或 Claude Code：
提示词：
我经常做哪些任务？我总在让你修正什么？
2. 把它当作一个测试
如果任务是制作一份演示文稿，就保存这次任务的提示词和源文件。在新对话中运行这个任务。在你提出任何修改请求之前，先保存第一版输出，并记录所用的模型及其推理（reasoning）设置。
现在你就有了一个可以在任何模型上运行的固定测试。每次都要保持指令和素材不变。
3. 把你的反馈变成一份清单
像平常一样审阅 AI 的工作。打字或口述你喜欢什么、不喜欢什么、想要改什么。以演示文稿为例，你可以说：
提示词：
这页幻灯片把三个观点塞在了一起，文字太小，而且用了错误的字体。
让 AI 把你的反馈拆成一个个“是/否”问题，每个检查项只对应一个要求：
- 每页幻灯片是否只包含一个主要观点？
- 所有正文文字是否至少达到我风格指南中规定的最小字号？
- 这套幻灯片是否使用了我指定的字体？
修改这些问题，使其反映你的标准。每一个问题都应该明确指出输出必须做对的某个具体点。
4. 看看 AI 能否可靠地执行你的检查项
首先，你自己给输出打分。如果第三页把预算、时间线和招聘计划混在了一起，那么“一页一个观点”这项检查就是失败。
接着，打开一个新对话，提供这份演示文稿、这份清单，以及任何参考文件（比如你的风格指南）。先不要透露你的打分，然后问：
提示词：
请对照每一项检查评估这份演示文稿。标记通过或失败，并指出每项判断背后的具体证据。
把它的答案和你的对比。它发现那页多观点的幻灯片了吗？它有没有指出你漏掉的问题？在你们意见不一致的地方，去检查证据：要么是 AI 判断错了，要么是这个检查项的措辞需要更具体。
5. 解决分歧，再次测试
如果你的基准让一份你不会采用的演示文稿通过了，找出原因。常见问题包括：
- 检查项不清晰：“幻灯片可读”可能需要明确一个最小字号。
- 缺少检查项：幻灯片看起来不错，但漏掉了一个被要求的主题。补上一个检查项，确认所有要求的主题都被覆盖。
- 打分失误：检查项本身很清楚，但 AI 漏掉了一个错误。
每次改动后都重新打分，并把修订后的清单应用到你正在比较的每一份输出上。注意不要为了让某个模型占优而调整规则。
最后，把清单和这项作业一起保存，并换一个不同的例子再运行一次。这样能告诉你，它捕捉到的是你的标准，还是仅仅是第一份输出里的问题。
论点陈述（Thesis Statements）
三周前，我们推出了 Thesis Statements，这是一个合集，收录了建设者和思考者关于“人类与 AI 协作下出色工作的未来”的、具体且可被质疑的论断。
本周，我们又带来了来自前沿人士的七条预测：
- “由 AI 驱动”将意味着便宜——AirOps 首席产品设计师 ÌníOlúwa Abíódún
- 我们将从知识经济走向探索经济（discovery economy）——Union Square Ventures 媒体人 Matt Cynamon
- 我们将付费观看人类动手做东西——Charts & Crafts 创始人 Natalie Fratto
- 当 AI 能为任何事都讲出一番道理时，相信你的直觉——Studio Tim Fu 创始人 Tim Fu
- 机构不需要一场危机就能改变——Gumroad 创始人 Sahil Lavingia
- 每一个好点子到早上都会有一千个克隆——Every 评估负责人 Mike Taylor
- 确定性将会是陷阱——Dewey 创始人 Alex Tryon
如果你想参与决定“AI 与人类工作的未来”中什么才是重要的，想创造性地思考，并构建下一个时代的东西，欢迎参加我们首届 Thesis: 2027 大会，时间是 2026 年 11 月 5 日。
日常主力
本周团队在用的模型
- Nityesh：把 Fable 5.1（medium）当作日常主力，因为它在思考投入和成本之间较为平衡。
- Douglas Brundage（市场负责人）：Astra（light），创建素材时切换到 high，简单任务用 GPT-5.6 Sol。
- Andrey Galko（工程负责人）：小任务用 Opus 5，大项目用 Fable 5.1。“还在试图搞清楚 Astra 到底能做什么，但老实说谈不上印象深刻。”
- Becky Isjwara（社交媒体负责人）：主要用 Astra，视频用 Fable，电脑操作（computer use）用 Astra。她还通过 Astra 的电脑操作使用 Grok Bot 来做 X 上的调研。
- Waqqas Mir（客户支持专员）：回归使用 Opus 4.8（high）。
- Katie Parrott（专职作者）：“我一直在疯狂用 Astra，都有点怕看我的银行账户了。”她觉得 Fable“作为采访者更有心理洞察力，作为规划者更严谨”，但她已经对 Astra 上瘾，因为它的写作更流畅、更有惊喜。
- Natalia Quintero（咨询负责人）：因为 Fable 5.1 的额度用得太快，写作和思考改用 Fable 5，其他所有事情用 Astra（medium）。她避免在更高投入档位使用 Astra，因为那样它会开始“不断打转、想得太多，以至于产出毫无效率。打转和过度思考是我的活儿，Chat！”
- Arielle Shipper（运营负责人）：GPT-5.6 Sol（medium），偶尔切换到 Astra（light）。“我正式把 Sonnet 5 从我的模型列表里删掉了，因为它花了 12 分钟比较两份 Google Docs——而且还没得出答案。Sol 用 42 秒就完成了这个任务。”
- Dan：主要用 Fable 5.1 和 Astra，偶尔用一点 GPT-5.5、GPT-5.6 Sol 和 Opus 5。
- Loren Stewart（工程师）：编程用 Astra（medium）和 GPT-5.6 Sol（medium 或 high）；思考和讨论想法用 Fable 5.1。他用 Fable 和 Astra 来点评自己的写作。
- Mike：主要用 GPT-5.6 Sol，出于成本考虑，把 Astra 和 Fable 留给更大的任务。不过，“Astra 的电脑操作非常出色。”这个模型截取了他浏览器和电脑上项目的屏幕截图，并用这些截图对一套幻灯片做了数百处小修改，“几乎不需要纠正”。他最近比较了 Fable 5.1 和 Astra 的写作能力，结论是：“Claude 仍然是更好的写作者。”
- Willie Williams（平台负责人）：主要用 Astra 和 Fable 5.1。“Grok Bot 掉队了，但我觉得有必要把它拉回来。”
Dan 对 Fable 5.1 和 GPT-6 Astra 的偏爱并非无人注意。（截图由 Laura Entis 提供。）
团队在写作、规划和构思上对比 Fable 与 Astra。（截图由 Laura Entis 提供。）
直接来自 Slack
晒一晒你的 agent 配置
Cora 总经理 Kieran Klaassen 第一个登场。（截图由 Laura Entis 提供。）
我们正把周五的内部展示会变成一场巡览，看看 Every 的人是怎么使用 Codex 和 Claude Code 的。在接下来的几周里，同事们将公开自己的配置和文件夹系统，展示他们是如何完成工作的。正如我们在《A Codex of One's Own》中写到的，这些配置可以像使用它们的人一样各具个性。敬请关注这一栏目，我们将会报道每个人不同的风格——以及你能借鉴到自己工作里的点子。
Laura Entis 是 Every 的专职作者。要阅读更多此类文章，请订阅 Every，并在 X（@every）和 LinkedIn 上关注我们。
核心启示：衡量 AI 真正价值的，不是它在一个公开基准上的分数，而是由你自己定义任务标准的个人评估基准——把日常给 AI 的纠正转化为可逐项判定的检查项，就能让模型选择和工作质量进入一个不断改进的复利循环。
Evals for Everyone 的发芽报告
材料核心
Every 团队主张：公开 benchmark（Astra、Fable 5.1 在研究生科学测试上拿到 96%、93%）无法回答"模型能否胜任你的具体工作"；真正的解法是每个人建立自己的个人 benchmark——把你日常纠正 AI 时做出的判断，转化为可复用、可自动评分的检查项（checks），再让 checks 随反馈升级为持续改进的技能。核心动作不是"换更强的模型"，而是"让模型可被你的标准检验"。
发芽 01：把"我知道好坏"变成"我能写出规则"
种子
文章表面上在谈模型（96% 对 93%），但它真正处理的是一个古老得多的问题：你的判断是缄默的、说不清的。Kate Lee 审稿时对逗号位置和用词的偏好，她自己未必能完整讲出规则；Mike 对"一页一个观点"的坚持，起初也只是偏好而非标准。个人 benchmark 的深层作用，因此不只是"评测模型"，而是逼你把说不清的判断显性化。AI 在这里扮演的，是一个只会照章办事、永远不会累、但也绝不替你揣摩的学徒。
这种"缄默知识"原本只能靠学徒制传递。波兰尼（Michael Polanyi）在《The Tacit Dimension》（1966）里留下那句名言："We can know more than we can tell." 他的例子是：你能在一张合影里认出某个人，却说不出自己是怎么认出来的。更有意思的是，"说不清"曾经是权威的一部分——1964 年美国最高法院大法官斯图尔特（Potter Stewart）被问到如何定义"淫秽"，留下那句著名的"我看到就知道了"（I know it when I see it），用无法定义来回避定义。
而在与 AI 协作的场景里，"说不清"第一次变成了成本：你无法定义的，模型就无法执行。Mike 和 Nityesh 的做法本质上是一种"逆向学徒制"——不是徒弟向师傅学手艺，而是要求师傅把自己都说不出的手艺写下来，交给学徒去逐条执行。Dalio 在《原则》里做过同类的事：把几十年投资决策中被验证有效的判断，逐条写成原则，再进一步交给算法。个人 benchmark 就是普通人的、微型版的"原则系统"。
Aha 瞬间
"瓶颈从来不是模型写得够不够好，而是你说不说得清什么叫'好'——个人 benchmark 是一台把缄默判断强制转译成可见规则的机器。"
发芽 02：你的标准也会过拟合
种子
文章里最容易被跳过、却最关键的一句是："Make sure you're not tuning the rules to favor one model"，以及"run it on a different example"。这说明个人 benchmark 内置了一个陷阱：它可能测的不是"你的标准"，而是"你对第一个输出的印象"。规则越贴合那一个样本，越可能在其他样本上失灵——而文章的"one idea per slide"这种极简 check 之所以有效，恰恰因为它抽象到了样本之上。
这就是机器学习里的过拟合（overfitting）：模型在训练集上完美，一换测试集就崩。把它搬到人类世界，就是 Goodhart 定律——Charles Goodhart 于 1975 年提出，后来被浓缩成那句广为流传的话："当一个度量成为目标，它就不再是好度量"；Donald Campbell 在 1976 年补充了 Campbell 定律：任何被用于决策的量化指标，都会承受被腐蚀的压力。
教育领域是活样本。美国"不让一个孩子掉队"（No Child Left Behind, 2002）推行后，标准化分数上升，但教育学者反复指出，学校开始"为考而教"——分数涨的是应试能力，未必是理解能力。这正是文章那句"tuning the rules to favor one model"的宏观版本：你调的不是标准，是你对标准的第一印象。更隐蔽的是"路灯效应"（streetlight effect）：醉汉在路灯下找钥匙，不是因为钥匙掉在那儿，而是因为那儿亮——我们倾向于用那些容易写成 check 的东西去定义"好"，而真正决定质量、却难以量化的部分被悄悄漏掉了。
Aha 瞬间
"一个只在一个样本上完美通过的 benchmark，不是你标准的刻度，而是你对那一个样本的回忆——真正的标准要在你没见过的下一个输出上才现形。"
发芽 03：小模型为什么赢——"能力前沿"不等于"你的效用前沿"
种子
文章最反直觉的结果是：GPT-5.6 Luna 在 Mike 的 benchmark 上击败了 Fable 和更贵的 GPT-5.6 Sol。公开榜单"越强越贵"的排序在这里被推翻。这个矛盾指向一个区分："模型有多强"和"模型能吸收你多少工作"，是两条方向不同的曲线。
Rich Sutton 在 2019 年的《The Bitter Lesson》里总结：长期看，通用、可扩展的方法终将胜过依赖人类领域知识的精巧方法。这条教训常被用来论证"更大的模型最终会赢"。但 Mike 的结果并不与它冲突——它只是发生在另一条轴上。Sutton 讲的是"能力前沿"随时间的走向；个人 benchmark 测的是在某一时刻、针对你具体任务集合的"效用前沿"。前沿一直在移动，效用只在当下。
打个比方：有人问"送快递该开法拉利还是厢式货车"。法拉利更快、更强、更贵，在"最高时速"这个公开指标上完胜——但你要送 200 个包裹，厢式货车赢。车型的能力排名没错，只是它回答的不是你的问题。文章那张图（"GPT-5.6 Luna outperformed more powerful, expensive models at many of Mike's day-to-day tasks"）正是这个区分的证据。它带来一个实际后果：把"最强模型"默认成"我的最佳工具"，是一种未经检验的假设。先在自己的 benchmark 上跑一遍，本质上是每次新模型到来时，重算一次"对你的效用排名"，而不是照抄公开榜单。
Aha 瞬间
"A benchmark 不衡量模型有多聪明，它衡量模型能替你消化多少工作——而这两条曲线，方向经常相反。"
发芽 04：从平循环到复利循环
种子
Dan 说这是"working in a compounding loop"的第一步。区别在于两类人使用 AI 的方式：大多数人在一个平循环里——输出→纠正→丢弃→下一个，判断力付出了，却什么也没留下。而 benchmark 把纠正沉淀成 checks，checks 又升级为 skills，于是每一条反馈都被存进系统，下一次不必重新教。缺陷从"要修的东西"变成"要写进规则的东西"。
这正是戴明（W. Edwards Deming）战后向日本工业界推广的 PDCA 循环（Plan-Do-Check-Act）的同一个结构：重点不在单次产出，而在把"检查"制度化，让每一轮的偏差成为下一轮的输入。丰田的 kaizen（持续改善）把这套循环推到极致——车间工人被鼓励每天提改进，几十年累积成制造神话。Jim Collins 在《Good to Great》（2001）里用了"飞轮"（flywheel）的比喻：一圈推动下一圈，最终势不可挡。个人 benchmark 的复利性正在于此：check 不是一次性的校对，而是一块会留下、会被复用的砖。
反过来说，这也解释了为什么"每次都重新纠正 AI"是一种缓慢的漏损：你把最宝贵的判断力投了进去，却没有为下一轮留下任何利息。
Aha 瞬间
"大多数人和 AI 的协作是一个平循环——纠正、丢弃、再来；benchmark 把它拧成一个螺旋：每一次失败都被留下，成为下一次的起点。"
你的思考空间
- 你的工作里，哪些判断是"我看到就知道了"却从没写下来过的？如果模型明天就要执行它，你现在必须问自己哪几个问题？
- 如果个人 benchmark 也可能过拟合，你如何区分"这是我真的想要的"和"这是我碰巧在第一个样本里注意到的"？
- 当一个小模型在你的 benchmark 上击败了更强、更贵的模型时，你更愿意相信 benchmark，还是相信自己的直觉？两者冲突时，谁该让步？
- 把判断写成规则，会不会反过来窄化你的判断——你就只看得到自己写下的那几条？标准到底是脚手架，还是牢笼？
- 如果要为"你自己的 benchmark"设一条元规则（评判规则是否合格的规则），那条规则会是什么？