什么是微调?AI模型微调完全解析

快速解答

微调是在一个已经训练好的模型基础上,用你自己的示例再训练一点,使它默认采用某种风格、格式或行为。它改变的是模型如何回答,而不是它知道什么:事实依然来自预训练或提供的文档。大多数人根本不需要它,因为一个好的提示词或检索能以更低的成本解决同样的问题。

微调是在庞大模型基础上的一次微小调整

一个语言模型交到你手上时已经训练完成。预训练阅读了数万亿个token组成的语料库;Meta透露Llama 3的训练数据超过15万亿个token。后训练随后把它训练成一个助手。什么是LLM 讲解了这两个阶段。

微调是第三个规模小得多的阶段,由你自己来完成。你给模型提供几百到几千个你想要的具体输入输出示例,并在这些示例上再训练一段时间。OpenAI的微调指南指出,通常50到100个示例就能带来明显的提升。参数会略微偏向默认产出你想要的那种答案。

规模上的差距就是全部要点。十五万亿个token对上几百个示例:微调无法添加有意义的知识,因为示例数量根本不足以撼动模型已经掌握的知识。它能做到的是改变模型的回答方式,因为一种重复了几百次的一致格式,正是一次小小调整就能捕捉到的模式。

微调改变模型的回答方式,从不改变它知道什么

要划的界线是行为和知识之间的区别。

你希望模型...微调真正有效的方法
始终按你的品牌风格或语气回答是,这是微调的核心用途微调,或者带示例的强系统提示词
始终返回特定格式(JSON、固定模板)是大规模场景下微调更可靠;偶尔使用就用提示词
遵守一长串规则而无需每次提醒是微调;规则会从提示词转移到权重里
了解你的产品、价格、政策否检索:在回答时提供相关文档
知道训练之后发生变化的任何事情否网页搜索或检索
在难题上推理得更好否推理模型或更大的模型

多数人踩到的坑是第四行。他们用自己的帮助中心内容做微调,指望得到一个了解自家产品的模型。结果得到的是一个用帮助中心的语气写作、并流畅地编造产品事实的模型,因为训练教会了它答案的形式,而不是内容本身。知识这项工作属于检索,什么是RAG 解释了它的原理。

为什么微调故意选在便宜的模型上做

没有人会为了一个狭窄的任务去微调一个系列里最贵的模型。重点是让一个小而便宜的模型,在某件事上做得和用长提示词的前沿模型一样好,然后把这个便宜的模型跑上百万次。

微调需要弥合的差距:便宜的模型与它要取代的模型
$0$2$4$6每百万tokenLlama 4 Maverick到 Claude Sonnet 5938便宜的模型前沿模型价格127倍,差距29分GPT-5.6 Luna到 GPT-5.6 Sol3847便宜的模型前沿模型价格11倍,差距9分DeepSeek V4 Flash到 Claude Opus 54051便宜的模型前沿模型价格22倍,差距11分

每一端上方的数字是2026-09-17读取的Artificial Analysis智能指数得分,连线则是每百万token的价格差距。通用型Llama 4 Maverick的得分是9,对上Claude Sonnet 5的38分;微调的赌注是在某个狭窄任务上,这29分的差距可以换来127倍的成本节省。按2026-08-20获取的OpenRouter标价,一次输入1,000个token、输出500个token的标准回答,在Maverick上花费$0.0006,在Sonnet 5上花费$0.007,参见AI模型成本指数;因此一个每月运行100,000次的客服分类器,前者花费$60,后者花费$700。如果经过微调的Maverick在这一项任务上追平了Sonnet,这次微调在第一个月就能收回成本。真正决定要不要微调的是这笔账,而不是模型整体质量的高低。

让这一切变得便宜的方法是LoRA,2021年发表,它只训练一小组新增的参数,而不是整个模型。加上它的4比特版本QLoRA(Dettmers等人,2023年),一个70亿参数的模型可以在单张24GB的消费级显卡上完成微调。而对同一模型做完整微调,则意味着要在多块数据中心级GPU上更新每一个参数。

多数情况下,提示词、检索或换一个模型能在训练之前解决问题

微调是最后的选择,不是第一个选择,因为下面每一种方法都能以远低得多的成本解决常见情况,并且可以在一分钟内改变。

  1. 一个带示例的更好提示词。 在提示词里放三个你想要的输出示例,就能获得微调在格式和语气上的大部分好处,却不需要任何训练。面向初学者的提示词工程 讲解了这种做法。
  2. 检索。 如果差距在于知识,再多的微调也弥补不了。上传文档,或者打开搜索功能。
  3. 换一个模型。 不同模型默认的语气各不相同。一个本来就按你想要的方式写作的模型,胜过去微调一个不这样写的模型;一个多模型工作区能让你一键完成这个测试。

当提示词已经长到一整页规则、模型却总是忘记时,当任务的运行量大到提示词长度真的是钱的时候,或者当你需要一万次都不出一次差错地可靠返回某种格式时,就该用微调了。这些都是真实的需求,但它们也很少见。

能在聊天产品里直接微调吗?

一般来说不能,Whizi也不例外。包括Whizi在内的消费级聊天产品都不提供微调功能;微调是提供商API和开放权重模型上的开发者功能。聊天应用里最接近的东西是常设指令。在Whizi里,这些指令保存在项目中:项目级自定义指令适用于该项目里的每一次对话,这样你就能在不训练任何东西的情况下,在一整批工作中保持一致的语气和格式。如何使用项目 讲解了具体设置方法。

对大多数人来说,这才是正确的取舍。项目指令是你写一次、规则变了就编辑一次的提示词。微调则是规则一变就要重新训练的模型。对所有没有在大规模运行某个狭窄任务的人来说,提示词在成本、修改速度,以及可读性上都更胜一筹。

判断标准是:当同一个狭窄任务运行的量大到便宜模型能收回成本时,就微调。其他所有情况,把指令写下来就够了。

操作清单
  • 先判断差距是行为问题还是知识问题;微调只能解决前者
  • 在做任何训练之前,先试试带三个示例的提示词
  • 事实、价格和会变化的信息,用检索或网页搜索解决
  • 先测试换一个模型;也许已经有模型天生就按你想要的方式写作
  • 针对狭窄、高频的任务微调一个便宜的模型,并在这项任务上和前沿模型做对比测量

常见问题

在AI里,微调一个模型是什么意思?

意思是在一个已经训练好的模型基础上,用你自己的示例再训练一点,通常是几百到几千组输入输出对,让它默认采用某种风格、格式或一套规则。这是在读取了数万亿个token的预训练之上做的一次小调整,所以它塑造的是行为,而不是新增知识。

微调和RAG,该用哪个?

微调用于模型怎么回答:语气、格式、遵守一长串规则。RAG用于它知道什么:你的文档,以及任何会变化的信息。它们解决的是不同的问题,生产系统往往两者都用。如果你的差距在于事实,微调解决不了,模型只会听起来对,实际上是错的。

微调一个模型需要多少个示例?

OpenAI的微调指南指出,通常50到100个高质量示例就能带来明显提升,质量比数量更重要。几百个是常见的工作量级;对于情况繁多的任务,几千个会更有帮助。

微调要花多少钱?

训练这一步通常只是小头,重点在于之后每次回答省下的钱。按2026-08-20获取的OpenRouter标价,一次标准回答在Llama 4 Maverick上是$0.0006,在Claude Sonnet 5上是$0.007,所以一个每月运行100,000次的任务前者花费$60,后者花费$700。如果微调后的便宜模型能在这项任务上追平贵模型,这次微调在第一个月就能收回成本。

我能微调ChatGPT或Claude吗?

消费级应用不行。微调是部分模型的提供商API功能,以及你自己运行的开放权重模型的功能。在聊天产品内部,等效的做法是常设指令:ChatGPT的自定义指令,或者Whizi里适用于该项目所有对话的项目级指令。