BroadRouter

微调(fine-tuning)

更新于

微调是在一个较小的特定任务数据集(例如示例对话)上继续训练预训练语言模型的过程,使其权重发生变化,从而更稳定地完成该任务或风格,而无需在每个提示词中写长指令或示例。

又称: 模型微调、大模型微调、监督微调、有监督微调、SFT、fine-tuning、finetuning、supervised fine-tuning、model fine-tuning

提示词每次都要告诉模型做什么。微调则改变模型本身,让它事先就知道。

工作原理

你从一个训练好的模型出发,用自己的示例继续训练。在监督微调(SFT)中,每条示例都是一段带有你期望回答的对话。OpenAI 的指南使用 JSONL 格式,即 “one complete JSON structure on every line”(译文:每行一个完整的 JSON 结构),采用对话格式:

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

训练任务会调整权重,让这些回答更有可能出现,并返回一个新的模型 ID。OpenAI 规定最少 10 条示例,建议先用 50 条,评估之后再决定是否增加。

全量微调会更新每一个权重,对大模型来说代价很高。Hu 等人的 LoRA 论文指出,为 GPT-3 部署多个独立的微调副本,“each with 175B parameters”(译文:每个都有 175B 参数),成本高得令人望而却步。LoRA 等参数高效方法改为训练一个小的附加模块。蒸馏是相关的思路:用大模型的输出微调一个小模型。

为什么重要

  • 更短的提示词。 原本需要很长少样本提示才能实现的行为,可以转移到权重里,减少每次调用的输入 token。
  • 一致性。 适合的场景包括分类、固定的输出风格、领域翻译,以及纠正不遵循指令的问题。
  • 维护。 微调后的模型绑定在一个基座模型上。基座下线时,你就得重新训练。OpenAI 的指南现在说,它正在逐步关闭微调平台,已不对新用户开放,已微调的模型会继续提供服务,直到其基座模型停用。
  • 先测量。 训练之前先建立评测,否则你无法判断微调后的模型是否更好。

想加入会变化的事实,微调不是好办法。检索能让这些事实保持最新。

在 BroadNet Inference 上

BroadNet 的 API 参考没有记录微调 API、训练任务或上传自有权重的功能。不过它确实说明,“our Arabic fine-tunes and other models on request”(译文:我们的阿拉伯语微调模型及其他按需提供的模型)需要通过随端点一起发放的私有模型 ID 访问。BroadNet 列出了一个这样的按需模型:针对嘈杂音频中的数字、日期和姓名微调的 Cohere Transcribe Arabic。公开的阿拉伯语转写模型请参见阿拉伯语语音转文字指南。如果你需要自己训练,开放权重模型是常见的起点;相关取舍见开放权重模型与闭源模型。

常见问题

微调大模型需要多少条示例?

OpenAI 的指南规定最少 10 条,并建议先用 50 条精心准备的示例,然后测量效果。如果 50 条好示例都没带来变化,先重新思考任务本身,再考虑加数据。

企业知识该用微调还是 RAG?

通常用检索。微调很擅长教会模型行为和格式,但会变化的事实,放在请求时检索的文档里更容易保持最新。

可以在 BroadNet Inference 上微调模型吗?

BroadNet 的文档没有列出微调 API。文档提到了 BroadNet 自己的阿拉伯语微调模型,可按需通过私有端点使用。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity