模型从来不是最困难的部分
原文：The Model Is the Easy Part
作者：Every Staff
日期：2026年7月19日
衡量真正重要的东西——并从中获利
Token 消耗正在全面攀升。其中有些 AI 使用是有价值的，有些则不是。要区分两者并高效投入，唯一的方法就是衡量——但问题是，衡量什么？
让团队用上 AI 工具只是 AI 应用的第一步。今天，公司必须定义出与业务挂钩、可衡量的目标。而这同样需要两样东西：对"好"的定义，以及能够衡量你离这个目标还有多远的数据。与此同时，前沿实验室（frontier labs）正面临压力，需要在金融、生命科学和通用推理等具有经济价值的领域取得进展。他们愿意为帮助自己达成目标的数据付费。清晰定义的目标如今会为公司创造双重价值：为你和你的客户带来投资回报，同时产生的数据也能帮助其他方面改进。
过去一年里，我们在 Good Start Labs 构建了基准测试、训练了智能体，并帮助游戏发行商将数据用于运维并在实验室市场变现。Arkadium 就是其中一家发行商，它拥有数百款游戏和数千万玩家。我们支持了它最近与 Meta 和 DeepMind 合作推出的 Game Lab，这是一个公开排行榜，用来评估前沿模型在玩简单游戏时的表现。Arkadium 设定了一个清晰的目标：为玩家提供一场与 AI 对阵的有意思的游戏。我们一起构建了基准测试，并将其与真实玩家进行了评估。随后分数出来了。那些能够在数学和科学领域做出新奇发现的同一批模型，在金拉米（Gin Rummy）纸牌游戏中输掉了 90% 的对局——对手是普通休闲玩家。
Opus（指某前沿模型）赢不了每日填字游戏。（图片来自 gamelab.com）
原因是这些模型被它们见过的东西所塑造：大量的数学,几乎没有金拉米。主流的 AI 模型同样可能对你整天处理的工作缺乏经验。但定义目标这件事，为 Arkadium 揭示了大语言模型（LLM）之外的选择——不同形式的 AI 适用于不同目标。我们没有用大语言模型，而是训练了一个拥有 460 万个参数、文件大小仅 18MB、可以在普通 CPU 上运行的专用模型。在满负荷状态下，它大约 90% 的时间能击败人类玩家，而经济性上的优势同样悬殊：如果每天有 100 万次请求，我们的专用模型一年成本大约是 60 美元；而用前沿大语言模型，费用将高达数百万美元。
对 Arkadium 来说，那个"有意思的游戏"目标带来了双重回报：为玩家提供了更好的体验，同时也开辟了一条新的收入渠道——将匿名数据以数百万美元的价格卖给实验室。前沿模型在游戏方面表现很差；Arkadium 结构良好的"有意思的游戏"对局数据，连同背后"玩得好"的人类玩家数据，正是实验室改进所需的东西。随着 Arkadium 继续向前沿实验室出售这些匿名数据，实验室的模型将从中学习并应用这些智能。（GPT-5.6 已经是一个好得多的填字游戏玩家了。）
Reddit、Shutterstock 和 News Corp 已经将其数据转化为数亿美元的持续性收入。大多数不在实验室竞争焦点中的公司，都可以通过出售数据来获益。但有一个重要的告诫：那些数据本身就是产品的公司——比如 Figma 或 Cursor——必须保护好自己的知识产权。Anthropic 首席产品官 Mike Krieger 在 Anthropic 推出竞争性设计工具几天前退出了 Figma 董事会；Figma CEO Dylan Field 后来表示，他们"并非一直坦诚相待"（not consistently candid）。Cursor 建立在 Claude 之上，而 Claude Code 曾被描述为一个"研究工作"，然后他们眼看着它变成了直接竞争对手。本周有报道称，Anthropic 向大型药企索要数据，几乎所有公司都拒绝了。如果你打算卖数据给的实验室正在进入你的业务领域，保留数据上的优势是至关重要的。
没人知道数据市场的护城河长期来看能有多深，只知道这个池子可能会很大。但为 AI 选择正确的目标、衡量进展、重视你学到的东西，这一切只会随着 AI 成为大多数公司的基本能力而变得更加重要。定义和衡量"好"，正在成为 AI 应用的下一阶段。这个过程没有尽头——而且正在成为竞争的必备条件。
补充参考：相关文章
"我如何打磨智能体构建的软件" 作者：Kieran Klaassen / Source Code：在复合工程（compound engineering）中，智能体现在运行着大部分循环——规划、构建、审查，并在一夜之间开出干净的 PR——因此 Kieran Klaassen 的工作收缩到最后的人为步骤：打磨，也就是判断智能体交付的东西是"好"还是仅仅"能用"。阅读这篇文章，了解在智能体优先的工作流中，人类的判断力应该放在什么位置。
"反对技能的案例" 作者：Laura Entis / Context Window：技术咨询负责人 Mike Taylor 认为，大多数热门的 AI"技能"现在已经多余，因为前沿模型已经吸收了它们，而堆叠指令可能会让输出更差、成本更高。文中还包括：Monologue 总经理 Naveen Naidu 只保留了一项技能 OpenClaw 的自动审查功能，这帮助他们在一次九小时的夜间运行中，交付了一个包含四个应用的 Monologue Notes 功能；增长主管 Austin Tedesco 则除了复合工程外，已经完全放弃了其他技能。
"合并的冲动（ChatGPT 和 Codex）" 作者：Katie Parrott / Context Window：OpenAI 将其独立的 Codex 应用并入了一个拥有三种模式——Chat、Work 和 Codex——的新 ChatGPT 桌面应用，高级用户对此表示反对，YouTuber Theo Browne 称其为"一代级的失误"（generational fumble）。文中还包括：一个用昂贵模型管理便宜模型的工作流——ChatPRD 创始人 Claire Vo 将 Fable 当作高级顾问来用，Dan Shipper 在不同实验室之间采取同一策略——以及当一个智能体保存可复用工具而不是重写代码时，错误率下降了 53%。
"那个在不同模型间调度工作的运营团队" 作者：Laura Entis / Context Window：Every 的业务运营团队能在 Fable、Codex 和客服平台 Fin 之间自如切换，以完成本不可能达成的截止日期。执行运营经理 Jalaiyah Bolden 让 Fable 处理了散落各处的上下文，在大约 90 分钟内就准备好了一份支持计划、帮助文章和 17 个回复模板，迎接一个产品发布。文中还包括：客服经理 Waqqas Mir 将一次处理不佳的支持对话，变成了一条更清晰的智能体指令；Spiral 总经理 Marcus Moretti 花了两个星期使用 Sonnet 5。
🎧 🖥 "一家估值 15 亿美元的 AI 公司创始人谈 AI 应用第一波浪潮之后的事" 作者：Dan Shipper / AI & I：Granola 联合创始人兼 CEO Chris Pedregal 与 Dan 对谈，解释为什么经营一家初创公司是一场永无止境的"白刃战"：在 AI 会议记录工具获得 15 亿美元估值后，Granola 眼看着 Notion、OpenAI 和 Zoom 纷纷复制了这一功能。观看或收听这期节目，了解为什么 Granola 押注于拥有围绕会议的所有工作，而不仅仅是记录本身。🎧 🖥 在 Spotify 或 Apple Podcasts 上收听，在 YouTube 上观看，或在 X 上关注讨论。
🖥 "我是个编辑——我构建了我们的最新功能" 作者：Jack Cheng / On Every：赠礼链接（Gift links）允许付费和全权限会员将 Every 的付费文章分享给任何人。高级编辑 Jack Cheng 并非工程师，却用 Codex 和当前的前沿模型自己构建了这一功能——这是一个 AI 原生公司如何决定发布什么的案例研究。阅读这篇文章，了解一个 30 人团队里的任何人如今如何构建并测试一项功能。🖥 观看 Jack、Kate Lee 和 Austin Tedesco 讨论赠礼链接是如何诞生的。
校准：AI 在制药行业的窄缝
狭窄的承诺。 众多公司蜂拥进入 AI 药物发现领域，其中一个问题是：更快、更便宜地找到更好的候选分子，只是将药物推向市场的整个过程中很小的一环。下面这张图是我见过的对这一失衡状况最清晰的呈现。左侧深蓝色的一小条"发现到先导化合物"（Discovery-to-lead），覆盖了识别有前景的靶点并将其优化为值得推进的候选药物这一阶段。它之后的一切——确认用于评估候选药物的实验和细胞系是否准确可靠（方法/细胞系验证）、生产制造、动物毒理学，以及三个阶段的人体临床试验——占据了剩下近 99% 的长度。
AI 药物发现公司将被商品化。（来源：X/@anthonystaj）
这种差距暗示了两件事。
首先，如果 AI 模型被商品化，许多独立的 AI 发现公司，其价值可能比一份 ChatGPT 企业订阅加上那个包装得漂漂亮亮的商业计划书多不了多少。一家全栈生物技术公司可以用自己的 AI 模型来筛选化合物，并在自己的实验室里进行全套测试。在这里，AI 成为业务内部的工具，而不是业务本身。
其次，计算的充裕让技术娴熟的从业者变得更有价值。虽然让模型提出一个分子很容易，但需要药物化学家和毒理学家来判断证据是否足够有力、风险是否可以容忍，以至于有理由将其用在活人身上。那种判断力，甚至可以说是在很多方面的品味——知道哪种药物值得押注——是更难复制和规模化的事情。这也解释了为什么专业知识和信念仍然是药物开发领域巨大的瓶颈。
当然，也会有例外。如果一家 AI 公司拥有实验室工作和药物本身，它可以获取上升空间的利润，但前提是必须接受将药物推向市场时所有生物技术公司都要承担的成本和失败风险。到了那个节点，它实质上就变成了一家药理学公司。
未来可能看起来会更像制药业吞噬软件业，而不是软件业吃掉制药业。
核心启示：模型本身正迅速商品化，真正困难且能创造长期价值的部分，在于清晰定义业务目标、建立衡量体系，并深刻理解你所在领域在 AI 模型之外的整个价值链——无论是游戏的数据资产，还是制药的试验流程，最终决定成败的都不是模型本身，而是围绕模型的整套系统与判断力。
The Model Is the Easy Part 的发芽报告
材料核心
AI模型的获取和部署变得越来越容易，但真正的挑战——也是价值所在——在于定义“什么是好”、测量进步，并理解你在这个过程中产生的数据本身就是一种可货币化的资产。模型是工具，而定义目标与拥有独特数据才是护城河。
发芽 01：古德哈特定律的幽灵——当我们测量“好”时，我们改变了什么
种子
材料强调“定义和测量‘好’是AI应用的下一阶段”，并举了Arkadium用游戏数据训练小模型打败大模型的例子。这揭示了一个更深层的矛盾：当一个指标成为目标时，它就不再是一个好指标。在AI领域，当我们为模型定义“好游戏”或“好输出”时，我们实际上是在重塑游戏本身。
1975年，英国经济学家查尔斯·古德哈特（Charles Goodhart）提出了一个后来以他命名的定律：“当一个衡量指标成为目标时，它就不再是一个好的衡量指标。”这个定律最初针对英国的货币政策——当货币供应量M3被设定为政策目标后，银行随即调整行为，使得M3与通胀之间的关系迅速瓦解。
古德哈特定律在AI领域以一种诡异的方式复现了。材料中提到的Arkadium案例是一个正面例子：他们定义的“好”——给玩家一个好游戏——与真实用户体验一致，因此测量推动了良性循环。但反例同样触目惊心。OpenAI在2023年推出GPT-4时，以律师资格考试（Bar Exam）成绩作为推理能力的核心指标，GPT-4的成绩从GPT-3.5的垫底10%飙升到前10%。然而，2024年斯坦福大学的研究人员发现，当使用更严格、更少被训练数据污染的新版律师资格考试题目测试时，GPT-4的成绩大幅下降——这暗示模型可能只是在“刷题”，而不是真正获得了法律推理能力。
材料中提到的Anthropic与Figma、Cursor的紧张关系，也可以从古德哈特的角度重新理解：当Anthropic将某些公司的数据视为“好的训练目标”时，那些公司立即调整了其合作策略——它们不再愿意提供数据，因为“提供数据”这个行为本身从双方共赢变成了单向输血。目标一旦被公开定义，博弈结构就改变了。
Aha 瞬间
“在AI的世界里，定义一个指标不是为了永远遵守它，而是为了在它被博弈之前，从它身上榨出最后一点真实信号。”
发芽 02：数据炼金术——当副产品成为主业
种子
材料提出一个反直觉的观点：Arkadium的游戏数据从“玩家游戏的副产品”变成了价值数百万美元的核心资产。类似的，Reddit、Shutterstock和News Corp都从“做业务”产生了数据，然后这些数据本身成为了卖给AI实验室的产品。这暗示了一个正在发生的经济结构转型：数据的“副产品身份”正在反转。
这种“副产品反转”在历史上有一个著名的先例：19世纪末的美国肉类加工业。当时芝加哥的大型屠宰场（如斯威夫特公司）以生产鲜肉为主业，猪鬃、骨头、内脏被视为需要处理的废弃物。但一位名叫古斯塔夫斯·斯威夫特（Gustavus Swift）的企业家意识到，这些“副产品”如果被系统性地收集、加工和销售，可以变成利润中心。猪油变成了肥皂和蜡烛的原料（后来供应给宝洁公司），骨头变成了肥料和骨瓷，内脏变成了香肠肠衣。到了20世纪初，许多肉类加工企业的副产品收入已经超过了主产品收入。
这恰恰是当前数据经济的写照。Arkadium的主业是给玩家提供游戏体验，但“玩家玩游戏”这个行为产生的数据流——每一步操作、每一种策略选择、每一次胜负结果——在AI时代变成了训练前沿模型的黄金。材料指出，前沿模型在Gin Rummy上输给休闲玩家90%的比赛，根本原因是训练数据中几乎没有这类内容。这意味着，任何在特定领域积累了结构化行为数据的公司，都可能坐在一个潜在的“数据金矿”上，而这个金矿对主业的运转几乎没有任何额外成本。
但这里有一个关键限制，材料也提到了：如果你的数据本身就是产品——比如Figma的设计文件或Cursor的代码交互——那么出售数据相当于出售自己的护城河。在这种情况下，数据不是副产品，而是核心资产，变现方式必须完全不同。Anthropic要求大型制药公司提供数据而被拒绝，正是因为药企的数据是它们的命脉，而不是副产物。这不禁让人联想到泰勒·斯威夫特在2014年将自己的音乐从Spotify下架的决定：她认为流媒体将她的核心产品（音乐）变成了平台的数据来源，而回报不成比例。
Aha 瞬间
“你自认为的‘主营业务’可能只是未来数据机器的外壳，而你随手扔掉的‘数据废料’可能才是时间的炼金术正在等待的唯一原料。”
发芽 03：95%的苦难——为什么AI吃不下最后99%
种子
材料在“Alignment”部分指出，AI药物发现公司只解决了药物开发的极小片段——“发现到先导化合物优化”阶段只占整个药物开发流程的约1%，而剩余的99%——包括化验验证、制造、动物毒理学和人类临床试验——AI几乎无法触及。这个失衡不仅仅是制药行业的问题，而是一个关于AI能力边界的更深层寓言。
1976年，史蒂夫·乔布斯和史蒂夫·沃兹尼亚克在车库里面组装了Apple I。乔布斯说服了当地一家名为Byte Shop的商店订购50台，每台售价666.66美元。这一阶段相当于AI的“发现”阶段：找到一个有潜力的原型。但接下来发生的事情才是将Apple变成一家公司的关键：他们需要建立供应链、管理现金流、寻找可靠元件供应商，并在乔布斯父母的车库里面手工焊接每一块主板。沃兹尼亚克后来在传记中回忆，制造1000台Apple II比设计出第一台Apple I“困难了10倍不止”。乔布斯也说过类似的话：“真正的工作不是拥有一个好主意，而是让一千个微小的细节都正确。”
这正是材料对AI药物发现的诊断的翻版。AI可以提出一万个候选分子（原型），但对每一个候选分子，都需要一位药物化学家去判断证据链是否足够强，一位毒理学家去评估风险是否可控，然后是一整个团队去解决化验验证、制造工艺放大和临床试验招募等“微小细节”。这些细节不是AI擅长的模式识别任务，而是需要人类判断力、直觉和组织协调的“苦活”。
材料中提到的Arkadium案例也暗合了这一逻辑：训练一个能打败90%人类玩家的专业模型只需要一个18MB的文件和一台普通的CPU，成本每年约60美元——这相当于是“原型阶段”的胜利。但要将这个模型真正部署到千万级用户的游戏中，确保延迟不超过人类感知阈值，设计难度曲线让玩家始终有“接近胜利”的紧张感，处理作弊行为，适应不同设备的输入方式——这些是最后99%的工作，也是Arkadium作为一个游戏公司真正的护城河所在，而不仅仅是拥有那个模型。
Aha 瞬间
“AI擅长生产‘候选方案’，就像印刷机擅长生产文字。但是，判断哪个方案值得用真人去冒险——那需要的不是算力，而是老派人类身上被岁月磨损也依然存在的某种东西：判断力、直觉和担责的脊梁骨。”
你的思考空间
- 你所在的行业或公司中，是否存在某种“副产品”数据，目前被视为垃圾或毫无价值，但可能在未来成为AI训练的关键资产？你如何判断它是不是“真正的副产品”而非核心IP？
- 当你为AI系统定义“成功”指标时，你是否考虑过这个指标会如何反向塑造用户、员工或竞争对手的行为？有没有历史先例可以借鉴？
- 如果你的公司构建了一个AI模型解决了某个领域的“1%”问题，你是否具备承担剩下99%工作中那些单调、高风险、需要人类判断力的部分的意愿和能力？还是说，99%的痛苦本身就是另一种公司的机会？
- 材料提到Anthropic向制药公司索要数据被拒绝——如果你的核心业务建立在独特数据之上，你如何区分“可以出售的副产品数据”和“必须死守的护城河数据”？