开放模型入门指南

原文:https://every.to/guides/getting-started-with-open-models


不久之前,最好的前沿模型虽然令人印象深刻,但也同样不太可靠。它们能解释量子力学、写出像样的代码,却管不住自己捏造引文,或者数不清"strawberry"里到底有几个 R。那时候,任何做正经工作的人,都会用自己能拿到的最强模型。

此后,最好的模型在研究数学、高级网络安全、科学发现等专业领域一路狂奔,远远超出了我们大多数人日常工作所需。与此同时,它们变得越来越贵,也越来越封闭。

但同样的进步也把 AI 模型变成了大宗商品。过去需要前沿模型才能完成的能力,如今在更便宜、更普及的模型上也能获得。对于日常任务,今天的开放模型在价格和质量上都有竞争力,企业已开始把它们与 OpenAI 和 Anthropic 的前沿模型并用。

总结会议纪要不需要天才——但发现新抗生素需要。大多数工作落在两者之间,而真正实用的问法是:"哪个模型对我的任务来说够用?"

自 2023 年 Meta 发布 Llama 以来,我一直在折腾开放模型。那时候,开放模型还只是研究上的新奇玩意儿。如今,它们承担了我工作中越来越大的一部分,从专业编程到创意项目,再到把日常琐事自动化。

省钱当然好,但更大的收获是独立性。当某个 API 挂掉时,你还有备用方案;当某个模型从菜单里消失时,你还有其他选择。本指南会逐层拆解开放模型技术栈,教你如何评估需求、选择模型与托管方式,并把它投入实际使用。

你可以自己拥有的 AI 技术栈

使用 ChatGPT 或 Claude 时,应用会连接到运行在公司服务器上的模型。公司还会保存你的对话历史,这样你就能在不同设备间接着上次继续。即便你把应用装在自己电脑上,模型依然运行在远端。模型本身只是一个包含数十亿个数字的大文件,这些数字被称为"权重"(weights),编码了它在训练中学到的模式。

美国的前沿实验室对权重保密。开放权重(open-weight)模型则把这些文件开放出来,让你可以下载并自行运行,但须遵守各自的许可证。有些——并非全部——开放权重模型同时也是开源的:它们公开训练代码和训练数据信息,并授予广泛的使用、修改和再分发权利。

模型权重只是起点。产品中的其他每一层——从托管到工具再到界面——也都有开放替代方案。

你可以自行决定每一层要自己运行多少。付费给服务商可以省去搭建和维护的功夫;自己运行则让你对数据流向和系统运作有更多话语权,但你也要为维持它运转负责。这不是非此即彼的选择,不同任务适合不同方案。

中国的开放模型

如今最强的开放模型大多来自中国的实验室。美国和欧洲的实验室也发布开放模型,但数量没那么多,能力通常也没那么强。

免费开放模型不是做慈善。免费长期以来都是一种竞争性商业策略。Google 让 Android 对手机厂商免费,从而在移动设备上为自家搜索引擎争得一席之地。中国实验室发布开放模型也有类似理由:做营销、借助全球研究社区、给那些靠出租闭源模型赚钱的美国对手施压。

如果你在意模型的来源,可以想想:Cursor 把 Kimi K2.5 微调成了 Composer 2——也就是其编程智能体背后的模型;Perplexity 也长期在前沿模型之外同时提供开放模型。使用中国实验室的模型,并不需要用它家的应用,也不需要把你的数据发往中国。模型就是一串数字文件,它可以被独立研究者审计,也可以运行在你信任的托管方上。

协商"够用"的标准

一个模型是否够用,取决于你让它做什么。当指令含糊、出错的后果严重,或者模型必须在无人监督下做很多决策时,任务就更难。同一个模型可能在这项工作上很可靠,在另一项上却不够格。

最强的模型更擅长解读含糊的请求、处理冗长复杂的问题。当工作难以预先界定、步骤繁多,或者做错的代价很高时,就用它们。

更小的模型可以处理清晰、可重复、易于验证的工作。好的指令、相关的参考资料,以及过程中的检查,能让它们在更难的任务上也变得可靠。

从任务出发。客服工单分类是例行工作,出错也容易发现,很适合用开放模型。一次性的支付系统重构既复杂又代价高昂,那就用你负担得起的最强模型。

你已经在用的 AI 或许对你的工作了解得足够多,能帮你找出合适的候选任务。下面这个提示词让它调用已有的记忆或历史,再用几个问题补上空白。

帮我找出那些我目前交给前沿 AI、但其实简单到可以改用更便宜、更快的"大宗智能"来做的工作。先用你已经了解到的关于我的项目和习惯的信息,然后通过提问来补全空白。

关于开放权重模型以及这里所用框架的背景,见完整指南:

https://every.to/guides/getting-started-with-open-models

目标是列出三个小实验的候选清单,而不是一套完整的自动化策略。优先考虑我已经在用 AI 做的工作。如果某个相邻任务并不在用 AI 做、但契合度特别高,也可以纳入。

"大宗智能"包括更便宜的或开放权重的模型,无论是远程托管还是本地运行。不要假设我懂技术。把对话聚焦在我想达成什么、输入是什么、能产出什么有用的成果,以及我如何判断结果是否够好。模型、API、代码和自动化平台留到后面的对话再说。

如何开展这次盘点

  • 从你真正能获取的证据入手:我们的对话历史、保存的记忆、项目文件、反复出现的请求,或其他可用的上下文。绝不要暗示你能看到你其实看不到的历史或系统。不要在我还没检查你已知内容之前,就让我先去整理一份清单。
  • 先对我的例行工作形成一个大致的判断,再通过提问来纠正和补全。每次问一到两个聚焦的问题,每个问题都要根据你已经了解的情况来调整。不要给我一长串问卷。
  • 不要只看职位头衔和宽泛的职责。

《Getting Started With Open Models》的发芽报告

材料核心

Every 的这篇指南主张:AI 能力正在"商品化"——曾经只有前沿模型能做的事,如今廉价的开放模型也做得来。因此实用问题从"哪个模型最强"变成"哪个模型对我的任务够用";而开放模型真正的价值不是省钱,而是独立、可控、可回退。文章给出从选模型、选托管到接入工作流的完整栈,并以任务边界(范围、风险、可验证性、经济性)而非模型名气作为决策依据。


发芽 01:从"最强"到"够用"——一部通用技术的商品化史

种子

文章的核心动作,是把 AI 从"能力竞赛"重新框定为"商品化进程":曾需要前沿模型的能力,正下沉为廉价、遍地可得的商品。这不是 AI 独有的现象,而是所有通用技术都走过的同一条曲线。理解这条曲线,才能理解文章为什么敢说"够用就好",以及价值最终会停在哪里。

故事

"通用技术"(General Purpose Technology, GPT)是经济学家 Timothy Bresnahan 与 Manuel Trajtenberg 在 1995 年提出的概念:像蒸汽机、电力、计算机这样的技术会渗透进所有行业,但它们的生产率红利往往要等几十年才兑现。最经典的案例是电力。经济史学家 Paul David 在 1990 年的论文《发电机与计算机》里指出:蒸汽时代的工厂围绕中央蒸汽机设计,电力出现后,工厂只是把蒸汽机换成电动机,布局几乎没变,所以看不到生产率提升。真正的爆发,发生在工厂被重新设计、每台机器配上独立电机、生产流程围绕电力重组之后。计算机也一样——1970 年代就有计算机,但"生产率悖论"直到 1990 年代才被打破,因为企业重写了流程,而不只是换掉计算设备。

模型正在重复这个剧本。前沿模型是"中央蒸汽机":昂贵、集中、被少数实验室掌控。开放权重把它拆解成可以装进任何工作流的"独立电机"。而 Clayton Christensen 在《创新者的窘境》(1997)里描述的"低端颠覆"也在此上演——新技术早期性能不够,只能服务最不挑剔的市场;一旦"够好",它就顺着低端往上吃,直到吞掉主流。开放模型今天的轨迹正是如此:先做总结、翻译、分类,再往上逼近编程与推理。

Aha 瞬间

"能力下沉,价值上浮——当智能变成商品,真正值钱的是包裹它的那层壳:编排、判断、私有数据与信任。开放模型不是终局,而是把 AI 推回它所有前辈都走过的同一条曲线。"


发芽 02:免费是一把武器——从 Android 到中国开源模型

种子

文章敏锐地指出:中国实验室把最强模型开源"不是慈善",而是竞争策略,并直接类比 Google 让 Android 免费。这句话值得展开——一旦理解"免费"背后的商业逻辑,你就能预测钱最终会流向哪里,也能更冷静地看待"模型来自哪里"的焦虑。

故事

2002 年,Fog Creek 的 Joel Spolsky 写下著名的《Strategy Letter V》,提出"商品化你的互补品"(commoditize your complement):如果你的产品依赖某个互补品,而该互补品被少数公司垄断、定价过高,那就设法把它变成廉价公共品。Google 的 Android 是教科书案例——2005 年收购、2008 年以开源形式(AOSP)免费给手机厂商,目的不是靠操作系统赚钱,而是确保 Google 搜索占据移动入口。IBM 在 2000 年前后投入约 10 亿美元押注 Linux,同样是削弱 Windows 对服务器的控制。开源在这里从来不是理想主义,而是把对手的利润中心变成人人可用的公共品。

中国的开源模型遵循同一逻辑:当模型免费,闭源 API 的定价权就被稀释;同时还能吸引全球研究者、做营销、借社区加速迭代。文章里两个细节印证了这套逻辑的后果——Cursor 把 Kimi K2.5 微调成自己的编程模型 Composer 2,Perplexity 长期同时提供开放与前沿模型。也就是说,连美国的头部应用公司,都在用中国的开源模型做生意。至于"数据会不会流向中国"的担心,文章给了一个朴素但有力的回答:模型是一堆数字构成的文件,可以在你信任的主机上运行,可以被独立研究者审计。文件不认国界。

Aha 瞬间

"免费从来不是慷慨,而是把对手的利润中心变成公共品。当模型免费,钱就流向能驾驭模型的那一层——Cursor 和 Perplexity 既是开源模型的用户,也是这条规律的活证据。"


发芽 03:"够用"是一门判断力生意——验证成本才是真正的瓶颈

种子

文章的决策框架(范围、风险、可验证性、经济性)看似是选型清单,其实是一套决策理论:什么时候可以把任务交给一个更笨、更便宜的执行者?答案不在模型有多聪明,而在"检查它要花多少成本"。这一点被文章一句不起眼的话点破——如果核对结果和亲手做一样费时,这个任务就不适合外包。

故事

Herbert Simon 在 1950 年代提出"满意化"(satisficing):真实世界的决策者不追求最优解,而是在信息与算力有限时,寻找"足够好"的选项。这与文章"哪个模型够用"的提问方式完全同构——不是找最强模型,而是找第一个越过及格线的模型。

但"够用"有一个隐藏前提:你能廉价地知道它是否够用。管理学家 Lisanne Bainbridge 在 1983 年的论文《自动化的悖论》里警告:自动化掉例行工作后,留给人的往往是更难的异常处理,而人因为长期不操作反而失去了判断力。Michael Kremer 在 1993 年提出的"O 形环理论"更直接:一条生产链的产出由最弱的一环决定,任何一环出错都可能让整体归零。AI 任务同理——一步错,全盘皆输,所以文章反复强调"把模糊判断留给人类或前沿模型",把提取、排序、格式化这些"可验证的中间步骤"交给便宜模型。这不是技术问题,而是风险工程:你要在链条上找到那个"错了也便宜"的断点。

Aha 瞬间

"你不需要判断模型有多聪明,只需要判断'检查它要花多少成本'。真正稀缺的从来不是智能,而是廉价可验证的智能。"


你的思考空间

  • 如果"能力下沉、价值上浮"成立,那么对你个人而言,未来三年最该积累的是"编排与判断"的能力,还是某一门具体的 AI 技能?你现在的工作处在链条的哪一环?
  • 文章说模型是"可审计的一堆数字"。但当一个模型的训练数据、对齐方式、价值观都由你看不见的团队决定时,"审计"到底能审计到什么程度?这对"独立性"的承诺打了多少折扣?
  • "验证成本"决定一切。在你自己的工作里,哪些任务的验证成本正在下降(可以外包给便宜模型),哪些反而在上升?这条分界线的移动会如何改变你的职业护城河?
  • 如果免费模型是战略武器,那么今天依赖免费模型的公司,会不会在某天遭遇"补贴退坡"?当开源模型开始收费或收紧许可时,你的备选方案是什么?
  • 文章把"独立"排在"省钱"之前。但在一个连硬件(GPU、内存)都被少数厂商垄断的栈里,从"租用 API"到"自托管模型",到底是从依赖里逃出来,还是换了一种依赖?