如何打造你自己的个人 AI 基准测试
原文：https://every.to/also-true-for-humans/how-to-create-your-own-personal-ai-benchmark
没有人会因为 SAT 成绩去聘请一位副总裁。但每当有新模型发布，AI 研究者做的第一件事，往往是看它在一场数学奥林匹克竞赛和一堆多选题常识题上的表现，然后在网上争论它是不是全世界最聪明的模型。沃顿商学院教授 Ethan Mollick 指出，被引用最多的基准之一 MMLU-Pro（Massive Multitask Language Understanding-Pro，大规模多任务语言理解专业版），会问模型直立人的大致脑容量，以及 Cheap Trick 乐队 1979 年现场专辑标题里提到的地点。这些测试确实在测量某些东西——分数具有方向性的参考价值——但它们测的不是你真正需要知道的事情：这个模型能不能帮你做好你的工作？要回答这个问题，你需要建立一套个人基准测试。
我今年早些时候加入 Every，负责技术咨询业务，所以大部分时间都在让模型写东西、搭仪表盘、组装幻灯片。每来一个新模型，我都会形成一种直觉，判断该在什么时候、以什么方式使用它。Claude Opus 5 感觉很好斗（argumentative）。Claude Fable 5 感觉像在和一位天才对话。GPT-5.6 Sol 感觉像一个稳妥可靠的人（a safe pair of hands）。但当朋友和同事来问我该用哪个时，我并不总能替自己的选择给出充分理由。而且在每个任务类型上测试每个模型都很耗时，我常常错过使用更好或更便宜模型的机会。于是，受 Mollick 那篇文章启发——他主张你应该用自己工作里的任务去测试模型，而不是信赖公开基准——我给自己做了一套个人基准：一个很小的、私密的测试，用来判断我是否喜欢和某个模型一起工作，又不用把全部时间都花在测试上——因为我还有正事要干。
现在我是 Every 的评估（evals）负责人，负责测试前沿实验室的新模型，看它们是否具备我们在工作中看重的特质。我想帮助团队里的每个人都为自己的工作建立个人基准。建立个人基准分
《如何创建你自己的个人 AI 基准》的发芽报告
材料核心
Mike Taylor 的核心主张：公共基准（如 MMLU-Pro）测的是模型"知道什么"，而非它"能否帮你做好本职工作"；真正有用的，是你用自己过往的失败与个人品味搭建的私人基准——它有三个层级，而且注定会不断过期。
发芽 01：判断力地平线——为什么所有模型看起来都一样
种子
文章里最容易被略过的一句，恰恰是最关键的一句：最便宜的 OpenAI 模型 Luna，在 Mike 的咨询任务上只比 Fable 差几分。但他没说"所以 Luna 是更好的模型"，而是说"所以 Luna 在我这些任务上够用了"。两句话之间的落差，就是 Steve Yegge 所说的"判断力地平线"（discernment horizon）的精确含义。
Yegge 的比喻是"请爱因斯坦泡咖啡"——他能泡得不错，但你从这杯咖啡里看不出他的物理学有多好。这个比喻指向一个更深的结构：当任务足够简单时，能力差异会被"够用"这条线抹平。文章引用 Anthropic 的发现佐证了这一点——Opus 与 Fable 的差异，只有在"实质性、开放式"的任务上才会显现。
这个洞见其实有一个比 AI 更老的思想源头。Herbert Simon 在 1950 年代提出"满意化"（satisficing）：真实世界的决策者不会去追求最优解，而是找到"足够好"的解就停下。Simon 因此获得 1978 年诺贝尔经济学奖，而他强调的重点是——满意化不是理性的缺陷，而是在信息与算力有限时的理性策略。所谓"地平线"现象，就是满意化逻辑换了一个舞台：当多个模型的输出都跨过了"够用"这道门槛，继续在门槛之上比较，其实是在比较一些对你的决策毫无影响的小数点。
Aha 瞬间
"当'够用'成为默认状态，稀缺的不再是模型的能力，而是你手上那些大到足以撕开地平线的问题。"
发芽 02：把品味编译成测试——个体也开始做 RLHF 了
种子
文章第二层建议看起来像是操作技巧：打开语音模式，把你的喜恶口述出来（"这个标题是神作""这读起来像 AI 写的"），再让模型把这些零散反馈变成可重复的评分标准。但退一步看，这个动作有个惊人的名称——你在为一个人（你自己）构建一份偏好数据集。
这正是 ChatGPT 诞生的方式。2022 年 OpenAI 的 InstructGPT 论文，核心突破并不是更大的模型，而是把人类标注员对输出的成对偏好，转化为强化学习的奖励信号，也就是 RLHF。整个行业动用了大量人类偏好，把"会补全文本的模型"变成了"会听指令的助手"。文章在做的，是把这个流程下放到个人：不再是有统一标准的匿名标注员，而是只有一个评委——你。
这里挡着一个哲学难题。Michael Polanyi 在《个人知识》与《默会维度》中说："我们知道的，比我们能说出来的多"（we know more than we can tell）。你对一个标题"好在哪里"的判断，本质上是默会的——你能瞬间认出好的，却很难言明规则。文章的贡献在于它给出了一条务实的绕过路径：不要求你先说清规则，而是允许你用语音倒出一堆看似随意的抱怨，再让模型替你归纳规则。这等于借一个外部系统，完成了从"默会知识"到"显式评分表"的压缩。
但压缩是有损的。文章里有个反直觉的细节值得停下：它明确反对 100 分制，主张二元判断，理由是模型的打分会在 4/5 或 70/100 附近聚集——它会先做出定性的"差/可/好"判断，再编一个看起来合理的数字。这恰好划出了 LLM-as-a-judge 的边界：它擅长复现你明示的标准，却复现不了你尚未意识到的偏好。
Aha 瞬间
"OpenAI 用几十万人的偏好训出了 ChatGPT；文章则在教你用一个人的偏好训出一把尺子——而那个'一个人'，正是你无法外包的部分。"
发芽 03：一份注定过期的基准——Goodhart 定律与红皇后
种子
文章最后一节写得最诚实，也最反常识：你的基准一定会失效。Mollick 曾用"一只在飞机上用 wifi 的水獭"作为质量标记，因为那时它对任何模型都很难；如今这个任务已经"饱和"——模型每次都做对。于是他把基准升级成"该乐队在'水獭群事件'之前最后一场演唱会的 1960 年代纪录片影像"。任务只能越来越怪，因为门槛在不断抬升。
这里可以接上社会科学里最著名的警告——Goodhart 定律：当一个度量变成目标，它就不再是好的度量。落到个人基准上，会浮现两重风险。
第一重是度量的失效：你用来测 AI 的那 10 个任务，恰恰是 AI 进步最快的地方——因为这些任务本来就是你过去失败过的地方。你的基准天然盯着能力的前沿，因此天生带半衰期。
第二重更隐蔽：一旦你开始围绕"通过自己的基准"去优化工作流，基准就在测另一件事——"你能不能骗过自己"。文章其实已经给了对策：把基准当作"活文档"，随你更大胆的用法一起演化。这等于承认，好的基准不是一次性的评分器，而是一个会自我作废的假设。
生物学早已描述过这种处境。Leigh Van Valen 在 1973 年提出"红皇后假说"（名字取自《爱丽丝镜中奇遇记》中的红皇后：你必须不停奔跑，才能停在原地）——物种必须不断进化，只为维持相对位置不变。Dan Shipper 把这叫做"冲浪模型"：不是站在浪上不动，而是持续调整姿势。
Aha 瞬间
"基准的价值不在于它给出了确定答案，而在于它逼你回答：我下一步该问一个多大的问题。它会过期，正是因为它在工作。"
你的思考空间
- 如果你的"每日主力"在你自己的基准上已经"饱和"（每次都通过），这说明模型变强了，还是说明你的基准太小了？你如何区分这两者？
- 文章说"你用 AI 的日常工作会产生任何其他人都无法训练出的判断力"——那么当你把这些判断力写成评分表交给模型，你是在保护它，还是在把它也变成一种人人可调用的、可被商品化的东西？
- 二元 pass/fail 比 100 分制更准，但也丢掉了"几分之差"的信息。你的工作里，哪些决策真的需要区分 70 分和 65 分，哪些其实只需要一条线？
- 既然"地平线"之上的差异才是真实的模型差异，那你目前有多少工作是落在地平线之下的？这些工作适合交给便宜模型吗？
- 五年之后，你今天的个人基准还会剩下几条用例？那些失效的用例，告诉你的究竟是关于模型的什么，还是关于你自己的什么？