微调是在庞大模型基础上的一次微小调整
一个语言模型交到你手上时已经训练完成。预训练阅读了数万亿个token组成的语料库;Meta透露Llama 3的训练数据超过15万亿个token。后训练随后把它训练成一个助手。什么是LLM 讲解了这两个阶段。
微调是第三个规模小得多的阶段,由你自己来完成。你给模型提供几百到几千个你想要的具体输入输出示例,并在这些示例上再训练一段时间。OpenAI的微调指南指出,通常50到100个示例就能带来明显的提升。参数会略微偏向默认产出你想要的那种答案。
规模上的差距就是全部要点。十五万亿个token对上几百个示例:微调无法添加有意义的知识,因为示例数量根本不足以撼动模型已经掌握的知识。它能做到的是改变模型的回答方式,因为一种重复了几百次的一致格式,正是一次小小调整就能捕捉到的模式。
微调改变模型的回答方式,从不改变它知道什么
要划的界线是行为和知识之间的区别。
| 你希望模型... | 微调 | 真正有效的方法 |
|---|---|---|
| 始终按你的品牌风格或语气回答 | 是,这是微调的核心用途 | 微调,或者带示例的强系统提示词 |
| 始终返回特定格式(JSON、固定模板) | 是 | 大规模场景下微调更可靠;偶尔使用就用提示词 |
| 遵守一长串规则而无需每次提醒 | 是 | 微调;规则会从提示词转移到权重里 |
| 了解你的产品、价格、政策 | 否 | 检索:在回答时提供相关文档 |
| 知道训练之后发生变化的任何事情 | 否 | 网页搜索或检索 |
| 在难题上推理得更好 | 否 | 推理模型或更大的模型 |
多数人踩到的坑是第四行。他们用自己的帮助中心内容做微调,指望得到一个了解自家产品的模型。结果得到的是一个用帮助中心的语气写作、并流畅地编造产品事实的模型,因为训练教会了它答案的形式,而不是内容本身。知识这项工作属于检索,什么是RAG 解释了它的原理。
为什么微调故意选在便宜的模型上做
没有人会为了一个狭窄的任务去微调一个系列里最贵的模型。重点是让一个小而便宜的模型,在某件事上做得和用长提示词的前沿模型一样好,然后把这个便宜的模型跑上百万次。
每一端上方的数字是2026-09-17读取的Artificial Analysis智能指数得分,连线则是每百万token的价格差距。通用型Llama 4 Maverick的得分是9,对上Claude Sonnet 5的38分;微调的赌注是在某个狭窄任务上,这29分的差距可以换来127倍的成本节省。按2026-08-20获取的OpenRouter标价,一次输入1,000个token、输出500个token的标准回答,在Maverick上花费$0.0006,在Sonnet 5上花费$0.007,参见AI模型成本指数;因此一个每月运行100,000次的客服分类器,前者花费$60,后者花费$700。如果经过微调的Maverick在这一项任务上追平了Sonnet,这次微调在第一个月就能收回成本。真正决定要不要微调的是这笔账,而不是模型整体质量的高低。
让这一切变得便宜的方法是LoRA,2021年发表,它只训练一小组新增的参数,而不是整个模型。加上它的4比特版本QLoRA(Dettmers等人,2023年),一个70亿参数的模型可以在单张24GB的消费级显卡上完成微调。而对同一模型做完整微调,则意味着要在多块数据中心级GPU上更新每一个参数。
多数情况下,提示词、检索或换一个模型能在训练之前解决问题
微调是最后的选择,不是第一个选择,因为下面每一种方法都能以远低得多的成本解决常见情况,并且可以在一分钟内改变。
- 一个带示例的更好提示词。 在提示词里放三个你想要的输出示例,就能获得微调在格式和语气上的大部分好处,却不需要任何训练。面向初学者的提示词工程 讲解了这种做法。
- 检索。 如果差距在于知识,再多的微调也弥补不了。上传文档,或者打开搜索功能。
- 换一个模型。 不同模型默认的语气各不相同。一个本来就按你想要的方式写作的模型,胜过去微调一个不这样写的模型;一个多模型工作区能让你一键完成这个测试。
当提示词已经长到一整页规则、模型却总是忘记时,当任务的运行量大到提示词长度真的是钱的时候,或者当你需要一万次都不出一次差错地可靠返回某种格式时,就该用微调了。这些都是真实的需求,但它们也很少见。
能在聊天产品里直接微调吗?
一般来说不能,Whizi也不例外。包括Whizi在内的消费级聊天产品都不提供微调功能;微调是提供商API和开放权重模型上的开发者功能。聊天应用里最接近的东西是常设指令。在Whizi里,这些指令保存在项目中:项目级自定义指令适用于该项目里的每一次对话,这样你就能在不训练任何东西的情况下,在一整批工作中保持一致的语气和格式。如何使用项目 讲解了具体设置方法。
对大多数人来说,这才是正确的取舍。项目指令是你写一次、规则变了就编辑一次的提示词。微调则是规则一变就要重新训练的模型。对所有没有在大规模运行某个狭窄任务的人来说,提示词在成本、修改速度,以及可读性上都更胜一筹。
判断标准是:当同一个狭窄任务运行的量大到便宜模型能收回成本时,就微调。其他所有情况,把指令写下来就够了。
- 先判断差距是行为问题还是知识问题;微调只能解决前者
- 在做任何训练之前,先试试带三个示例的提示词
- 事实、价格和会变化的信息,用检索或网页搜索解决
- 先测试换一个模型;也许已经有模型天生就按你想要的方式写作
- 针对狭窄、高频的任务微调一个便宜的模型,并在这项任务上和前沿模型做对比测量
常见问题
在AI里,微调一个模型是什么意思?
意思是在一个已经训练好的模型基础上,用你自己的示例再训练一点,通常是几百到几千组输入输出对,让它默认采用某种风格、格式或一套规则。这是在读取了数万亿个token的预训练之上做的一次小调整,所以它塑造的是行为,而不是新增知识。
微调和RAG,该用哪个?
微调用于模型怎么回答:语气、格式、遵守一长串规则。RAG用于它知道什么:你的文档,以及任何会变化的信息。它们解决的是不同的问题,生产系统往往两者都用。如果你的差距在于事实,微调解决不了,模型只会听起来对,实际上是错的。
微调一个模型需要多少个示例?
OpenAI的微调指南指出,通常50到100个高质量示例就能带来明显提升,质量比数量更重要。几百个是常见的工作量级;对于情况繁多的任务,几千个会更有帮助。
微调要花多少钱?
训练这一步通常只是小头,重点在于之后每次回答省下的钱。按2026-08-20获取的OpenRouter标价,一次标准回答在Llama 4 Maverick上是$0.0006,在Claude Sonnet 5上是$0.007,所以一个每月运行100,000次的任务前者花费$60,后者花费$700。如果微调后的便宜模型能在这项任务上追平贵模型,这次微调在第一个月就能收回成本。
我能微调ChatGPT或Claude吗?
消费级应用不行。微调是部分模型的提供商API功能,以及你自己运行的开放权重模型的功能。在聊天产品内部,等效的做法是常设指令:ChatGPT的自定义指令,或者Whizi里适用于该项目所有对话的项目级指令。