本教程面向已经了解大语言模型基本推理流程、希望掌握 SFT(Supervised Fine-Tuning,监督微调)的读者。内容覆盖 SFT 在大模型训练流程中的位置、训练目标与 Loss 计算、数据构造与质量筛选、Unsloth 的 LoRA(Low-Rank Adaptation,低秩适配)实战配置(Qwen3.5-2B/4B)与优化前后对比、典型应用场景,以及 SFT 与偏好优化、强化学习的分工。读完后可以独立完成一次小规模领域 SFT,并判断一个需求该用 SFT、RAG(Retrieval-Augmented Generation,检索增强生成)还是继续预训练。

前置教程

如想快速开始学习本教程,你可能需要先完成以下前置教程:

资源下载

  • sft-demo 示例项目,位于网盘「教程示例代码/模型训练与机器学习/SFT监督微调概念详解与Unsloth进行SFT实战完整教程」,含数据构造、训练、评测、导出脚本与 Turing 兼容补丁,公开链接、永久有效、无提取码。
  • 电商客服工单 SFT 数据集,位于网盘「数据集/电商客服工单SFT数据集」,含 train.jsonl(75 条)、val.jsonl(15 条)、test.jsonl(15 条)与构造脚本,测试集措辞与训练集不重复,公开链接、永久有效、无提取码。
  • Unsloth Desktop Windows 安装包,v0.1.916-beta 离线安装包,下载后双击安装,公开链接、永久有效、无提取码。
  • Qwen3.5-2B 模型权重,位于网盘「模型文件/LLM/Qwen3.5-2B」,完整模型目录,解压后放入本地 models/Qwen3.5-2B 即可使用,公开链接、永久有效、无提取码。
  • Qwen3.5-4B 模型权重,位于网盘「模型文件/LLM/Qwen3.5-4B」,完整模型目录,解压后放入本地 models/Qwen3.5-4B 即可使用,公开链接、永久有效、无提取码。
  • Unsloth 官方仓库,训练框架本体与 Desktop 安装包发布页,备选获取渠道。

1. SFT 在大模型训练流程中的位置

1.1 从预训练到后训练

大语言模型的训练通常分为三个阶段:预训练、后训练与推理部署。预训练用海量无标注文本训练一个基座模型(Base Model),目标是下一个 token 预测。基座模型掌握了语言规律和世界知识,输出行为却是“续写文本”,遇到“中国的首都是哪里?”这样的问句,它可能继续生成更多问题,也可能补全一段百科式文字,不保证按用户期望的格式回答。

后训练把基座模型改造成能听懂指令、按格式输出、符合人类偏好的模型。SFT 是后训练的第一个阶段,用“输入-期望输出”的示范数据继续训练模型,让它学会在特定输入下产生特定形式的回答。后续还可以接直接偏好优化(DPO,Direct Preference Optimization)、基于人类反馈的强化学习(RLHF,Reinforcement Learning from Human Feedback)与可验证奖励强化学习(RLVR,Reinforcement Learning with Verifiable Rewards),进一步提升有用性、安全性和推理能力。

graph LR A[大规模无标注语料] --> B[预训练
Next Token Prediction] B --> C[基座模型
Base Model] C --> D[SFT
指令-回答示范] D --> E[SFT 模型
Instruct Model] E --> F[偏好优化
DPO / RLHF] F --> G[RLVR
可验证奖励] G --> H[最终对齐模型] C -.-> I[继续预训练 CPT
领域知识 / 长上下文] I -.-> D style A fill:#e8f4f8,stroke:#1a6b8a style B fill:#d6eaf8,stroke:#2980b9 style C fill:#ffecd6,stroke:#b7950b style D fill:#d5f5e3,stroke:#27ae60 style E fill:#d5f5e3,stroke:#27ae60 style F fill:#fdebd0,stroke:#e67e22 style G fill:#fadbd8,stroke:#c0392b style H fill:#ebdef0,stroke:#8e44ad style I fill:#e8f4f8,stroke:#1a6b8a

各阶段的数据形态与目标不同:

阶段 数据形态 训练目标 主要作用 典型数据量
预训练 大规模无标注文本 下一个 token 预测 学习语言、知识与推理基础 万亿级 token
继续预训练 CPT(Continued Pre-Training) 领域文本、代码、长文档 下一个 token 预测 注入领域知识、扩展上下文 十亿到千亿级 token
SFT 指令-回答对、多轮对话、工具轨迹 回答 token 的交叉熵 学习指令遵循、格式、任务流程 千条到十万条
偏好优化 DPO/RLHF 同一问题的偏好对或排序 偏好目标 调整有用性、安全性、风格 万级到十万级偏好对
RLVR 题目、环境与可验证奖励 强化学习目标 提升数学、代码、工具任务的泛化 千条到数万条任务
RAG 外部知识库 检索增强生成 提供实时知识、可溯源引用 不更新模型参数

SFT 处在承上启下的位置。它把基座模型已经具备的能力“调动”出来,转成可用的任务行为;它也会给后续的强化学习提供一个稳定的输出格式起点。LIMA(Less Is More for Alignment)论文用 1,000 条精选示范数据微调 65B 模型,在人类评测中与 GPT-4 相当或更优的比例达到 43%,说明大部分知识在预训练阶段已经进入模型,SFT 主要教模型如何把知识组织成回答。

1.2 SFT 的定义与训练目标

SFT 指在预训练模型基础上,用带标注的输入-输出对继续训练。输入可以是一条用户指令、一段多轮对话或一个带工具定义的任务,输出是期望模型生成的回答、JSON、工具调用或推理过程。训练目标仍是下一个 token 预测,损失只在输出部分计算:

L_SFT = -Σ log P(y_t | x, y_<t),其中 x 是输入,y 是期望输出,求和只覆盖输出 token。

“监督”指的是训练数据里有标准答案,模型通过对比自己的预测和标准答案来更新参数。SFT 学的是条件分布 P(y|x):给定这类输入,按示范中的格式、语气、步骤和结构输出。它不直接优化“用户更喜欢哪个回答”,也不通过环境奖励探索新策略,这两类目标分别交给偏好优化和强化学习。

SFT 的适用范围比“指令微调”更宽。指令微调通常指用指令-回答数据教模型遵循指令,是 SFT 的一种;SFT 还可以用于领域问答、结构化输出、工具调用、推理轨迹蒸馏、多模态图文任务等。

1.3 SFT 与相邻技术的边界

初学者容易把 SFT、LoRA、RAG、微调混在一起。它们的层级不同:

技术 解决的问题 是否更新参数 数据形态 典型使用时机
Prompt 工程 用上下文引导模型 否 提示词、示例 快速验证需求
RAG 提供外部知识与引用 否 文档、向量库 知识频繁变化、需要溯源
继续预训练 CPT 注入领域知识与语言分布 是 无标注领域文本 领域词汇、长文档、代码语料多
SFT 教行为、格式、任务流程 是 指令-回答对 有明确示范、需要稳定输出
偏好优化 DPO/RLHF 调整回答偏好 是 偏好对或排序 有用性、安全性、风格细化
RLVR 用可验证奖励提升推理与工具能力 是 题目、环境、奖励函数 数学、代码、Agent 任务
LoRA / QLoRA(Quantized LoRA,量化低秩适配) 降低训练显存与成本 是(部分参数) 与 SFT/DPO 相同 显存有限、需要多任务适配

LoRA 是参数更新方法,SFT 是训练阶段和目标。用 LoRA 做 SFT 时,两者叠加使用;全参数 SFT 则不使用 LoRA。RAG 和 SFT 也经常配合:RAG 负责给模型提供最新知识,SFT 负责教模型如何组织回答、如何使用检索结果。

选择顺序可以按“先提示词与 RAG,再 SFT,最后偏好优化与 RL(Reinforcement Learning,强化学习)”来判断。能用上下文解决的知识问题,优先用 RAG;需要稳定行为与格式时,进入 SFT;需要细粒度偏好或可验证推理时,再考虑 DPO 与 RLVR。

2. SFT 的训练机制

2.1 一条数据如何变成训练样本

对话模型训练前,需要把结构化的消息转成模型能读的 token 序列。不同模型使用不同的对话模板(Chat Template)和特殊 token。以 Qwen 系列的 ChatML 模板为例,一条客服工单数据写成 JSON 后如下:

{
  "messages": [
    {"role": "system", "content": "你是一名电商客服助手,只输出 JSON。"},
    {"role": "user", "content": "订单 A1024 三天没发货,能帮我催一下吗?"},
    {"role": "assistant", "content": "{\"category\":\"物流\",\"priority\":\"中\",\"reply\":\"已为您登记催发货,预计 24 小时内更新物流信息。\"}"}
  ]
}

套用模板后,实际送入模型的文本类似:

<|im_start|>system
你是一名电商客服助手,只输出 JSON。<|im_end|>
<|im_start|>user
订单 A1024 三天没发货,能帮我催一下吗?<|im_end|>
<|im_start|>assistant
{"category":"物流","priority":"中","reply":"已为您登记催发货,预计 24 小时内更新物流信息。"}<|im_end|>

模板负责用特殊 token 标记角色边界、提示当前说话角色,并在末尾加入结束符。训练和推理必须使用同一套模板。训练时用 ChatML,推理时换成 Alpaca 风格的 ### Instruction:,模型看到的输入分布发生变化,输出格式会明显变差,这类问题常被误判为“训练失败”。

实际代码中不要手拼模板,使用 tokenizer 自带的 apply_chat_template:

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=False,
)

训练时 add_generation_prompt=False,因为回答已经包含在序列里;推理时设为 True,让模板在末尾追加 assistant 起始标记。

2.2 Loss mask:只学习回答部分

一条训练样本包含 system、user、assistant 三种片段。SFT 通常只对 assistant 片段计算损失,system 和 user 部分的 label 置为 -100,PyTorch 的交叉熵会忽略这些位置。伪代码如下:

labels = input_ids.clone()
labels[:, :prompt_length] = -100

多轮对话中,每一轮的非 assistant 片段都要 mask,只保留 assistant 片段。是否对每一轮 assistant 都计算损失,取决于训练目标:

训练目标 Loss 覆盖范围 适用场景
学习完整多轮行为 所有 assistant 轮次 对话助手、Agent、多轮工具调用
聚焦最终回答 最后一轮 assistant 单轮任务、最后一轮质量最关键的数据
学习中间工具调用 assistant 的工具调用与最终回答 Agent 轨迹训练

mask 掉 prompt 的原因有两点:用户提问在数据中常常重复,不 mask 会让模型反复学习如何生成提问;回答才是期望模型掌握的行为,把参数更新集中在回答上更有效。如果 prompt 本身非常多样,不做 mask 也能训练,但初学者建议保持标准做法。

回答末尾的结束符(EOS,End of Sequence)或 <|im_end|> 必须参与损失计算。很多“模型不会停”的问题,根源是训练数据把结束符 mask 掉了,模型从未学过在什么时候停止生成。

2.3 Packing:把短样本拼成满长度序列

SFT 数据的长度差异很大,客服工单可能只有几十个 token,长文档问答可能超过 8K。逐条训练会产生大量 padding,GPU 利用率低。Packing 把多条短样本拼接到一个固定长度序列中,减少 padding,提高吞吐。

Packing 有一个关键前提:不同样本之间必须做注意力隔离。简单拼接后直接训练,后一条样本的 token 会注意前一条样本的内容,造成跨样本污染;正确做法是使用 varlen attention、块对角注意力掩码,并在每条样本开始时重置位置编号。主流框架的 packing 实现会处理这些细节,使用前确认版本与参数。

配置 效果 注意事项
关闭 packing 每条样本独立,逻辑简单 padding 多,短样本训练慢
开启 packing 序列填满,吞吐提升 必须确认注意力隔离与位置编号正确
评估阶段 通常关闭 packing 按样本生成,便于逐条对比

2.4 全参数 SFT、LoRA 与 QLoRA

SFT 可以更新全部参数,也可以只更新一小部分参数。三种常见方案的对比如下:

方案 可训练参数 4B 模型显存(粗略) 适用场景 主要代价
全参数 SFT 100% 模型状态约 64GB,需多卡或 ZeRO/FSDP 领域差异大、数据充足、追求能力上限 成本高,容易遗忘通用能力
LoRA 约 0.1%-1% 10-16GB 大多数领域、格式、风格任务 需要选择 rank 与目标模块
QLoRA 约 0.1%-1%,基座 4bit 4-8GB 消费级显卡、快速实验 量化有精度损失,训练速度略慢

显存数字随序列长度、batch size、是否开启 gradient checkpointing 变化,表中数值用于建立量级概念。全参数 SFT 的显存主要被权重、梯度、优化器状态和激活值占用;LoRA 冻结基座权重,只保存少量适配器参数与优化器状态,显存压力小得多。表中的 ZeRO(Zero Redundancy Optimizer,零冗余优化器)与 FSDP(Fully Sharded Data Parallel,全分片数据并行)都是把训练状态切分到多张卡上的分布式训练方案。

LoRA 的做法是在线性层旁路增加两个低秩矩阵 A 和 B,冻结原始权重 W,训练时只更新 A、B:

h = Wx + (α / r) · B(Ax)

r 是秩,α 是缩放系数。推理时可以把 B(Ax) 合并回 W,部署阶段没有额外延迟。常见配置是 r=8 到 r=64、α=16 到 α=32、dropout 0.05,目标模块选择全部线性层(q、k、v、o、gate、up、down)。只训练注意力层可以省显存,复杂任务的适配能力会弱一些。

QLoRA 在 LoRA 基础上把基座权重量化成 4bit 的 NF4(4-bit NormalFloat,4 位正态浮点数)格式,进一步降低显存。基座权重保持冻结,适配器仍以较高精度训练。它让 4B 模型可以在 4-8GB 显存的显卡上微调,适合个人开发者和小团队做原型验证。Qwen3.5 官方不建议 QLoRA,4-bit 量化在这类模型上的差异高于常规水平;第 5 章的 Qwen3.5 实战使用 16-bit LoRA,QLoRA 仍适用于其他模型或显存极小的场景。

选择建议:先用 QLoRA 或 LoRA 跑通数据与评估闭环,确认任务值得投入后,再考虑全参数 SFT。大多数格式、风格、领域问答任务,LoRA 已经足够。

3. SFT 数据:来源、格式与质量

3.1 常见数据格式

SFT 数据没有统一标准,常见格式如下:

格式 结构 适用场景 备注
Alpaca instruction、input、output 单轮指令、问答、改写 字段少,易读易写
ShareGPT messages 或 conversations 数组 多轮对话 社区数据集常用
OpenAI Messages role、content、tool_calls 多轮对话、函数调用 与 API 格式一致
Prompt-Completion prompt、completion 补全、分类、代码 需要自定义 collator
偏好对 prompt、chosen、rejected DPO、RLHF 不用于 SFT

Alpaca 格式示例:

{
  "instruction": "把下面的工单分类为物流、退款、商品或其他,并给出优先级。",
  "input": "收到的杯子有裂纹,想退款。",
  "output": "{\"category\":\"退款\",\"priority\":\"高\",\"reply\":\"已为您登记退款申请,请在订单页上传商品破损照片。\"}"
}

ShareGPT 格式示例:

{
  "messages": [
    {"role": "system", "content": "你是一名电商客服助手,只输出 JSON。"},
    {"role": "user", "content": "收到的杯子有裂纹,想退款。"},
    {"role": "assistant", "content": "{\"category\":\"退款\",\"priority\":\"高\",\"reply\":\"已为您登记退款申请,请在订单页上传商品破损照片。\"}"}
  ]
}

格式本身不影响模型能力,关键是训练框架能否正确解析、模板能否正确渲染、推理时能否使用同一套格式。

3.2 数据从哪里来

SFT 数据的常见来源如下:

来源 优点 缺点 适用场景
人工标注 质量高、可控、贴近业务 成本高、速度慢 种子数据、评测集、高风险领域
开源数据集 便宜、覆盖广 许可证与质量参差、可能污染 通用指令、对话、基础能力
大模型合成 规模大、风格多样、成本低 事实错误、风格同质化、可能泄漏 覆盖长尾任务、扩充数据
强模型蒸馏 推理过程与格式质量高 依赖教师模型、许可证限制 推理、代码、结构化输出
生产日志 真实分布、真实失败案例 隐私与噪声、需要清洗 客服、搜索、业务助手
Agent 轨迹 多轮工具调用、环境交互 采集成本高、可复现性差 工具使用、规划、计算机操作

数据来源通常混合使用:人工写少量高质量种子与评测集,用强模型合成扩充,再用规则、验证器和人工抽检过滤,并混入生产日志中的真实难例。

几个公开案例可以作为参考:

  • LIMA 用 1,000 条精选的指令-回答数据微调 65B LLaMA,证明少量高质量数据可以显著改善指令遵循行为。
  • Magpie 利用对齐模型的对话模板自动生成用户问题,生成 400 万条指令数据,筛选出 30 万条高质量样本,微调 Llama-3-8B-Base 后在部分任务上接近官方 Instruct 版本。
  • Tulu 3 公开了完整的 SFT 数据混合、DPO 与 RLVR 配方,并对公开数据集做了大规模去污染,适合研究后训练流程。
  • DeepSeek-R1 先用少量长思维链数据做冷启动 SFT,再进行强化学习,解决纯 RL 模型可读性差、语言混杂的问题。
  • 字节 Axion 1.0 用两段 SFT(推理轨迹 10,819 条、工具使用轨迹 7,544 条)加一轮异步 GRPO(Group Relative Policy Optimization,组相对策略优化)训练智能体基础模型,两段 SFT 合计约 1.8 万条轨迹。

这些案例的共同点是:数据规模差异很大,数据质量、任务覆盖和评测闭环才是决定效果的关键。

3.3 数据质量与数据量

SFT 数据的质量可以从以下维度检查:

维度 检查内容 常见问题
正确性 答案事实正确、计算正确、代码可运行 模型幻觉、错误引用、错误 API
一致性 同一类问题的格式、语气、字段一致 同一字段多种命名、标点混用
多样性 任务类型、提问方式、长度、语言、难度 全是同一模板、全是简单题
难度匹配 与目标模型能力匹配,包含难例 太简单学不到东西,太难全是噪声
去重 精确重复与近重复 同一问题反复出现,导致过拟合
去污染 与评测基准无重叠 训练集包含测试题,指标虚高
格式合规 JSON、工具调用、Markdown 结构合法 字段缺失、括号不配对
安全与隐私 无个人信息、无违规内容、许可证清晰 手机号、身份证号、未授权数据

数据量没有统一答案,按任务类型给出经验范围:

任务类型 经验数据量 说明
格式、风格、分类 500-5,000 条 少量高质量示范即可,重点在覆盖边界情况
通用指令遵循 10,000-100,000 条 需要覆盖多种任务与提问方式
领域问答助手 1,000-20,000 条 专家数据优先,配合 RAG 提供知识
结构化输出、函数调用 1,000-10,000 条 覆盖正常调用、缺参、无需调用等分支
Agent 工具轨迹 数千到数万条 轨迹多样性比单纯数量更重要
推理冷启动 数千到数万条 过程正确、步骤完整、答案可验证
模型蒸馏 10,000-100,000 条 教师质量决定上限,需过滤错误样本

数据量增加带来的收益会递减。先用 1,000-5,000 条高质量数据跑通训练与评估,再根据错误分析补充数据,比一次性堆十万条低质量数据更有效。

SFT 的主要作用是教行为与格式。大规模知识注入更适合继续预训练或 RAG。把几十万条领域文档塞进 SFT,容易让模型过拟合领域文本,通用能力明显下降;如果确实需要通过 SFT 注入领域知识,混入 10%-30% 的通用数据,控制领域数据比例,并保留通用能力评测集。

3.4 数据构造闭环

SFT 的数据工作是一个循环,不是一次性任务:

graph LR A[定义任务与评测集] --> B[收集种子数据] B --> C[生成与扩充数据] C --> D[规则校验与人工抽检] D --> E[去重与去污染] E --> F[任务配比与打散] F --> G[SFT 训练] G --> H[离线评估与错误分析] H --> I[补充与修正数据] I --> C style A fill:#e8f4f8,stroke:#1a6b8a style B fill:#d6eaf8,stroke:#2980b9 style C fill:#ffecd6,stroke:#b7950b style D fill:#d5f5e3,stroke:#27ae60 style E fill:#fadbd8,stroke:#c0392b style F fill:#fdebd0,stroke:#e67e22 style G fill:#ebdef0,stroke:#8e44ad style H fill:#e8f4f8,stroke:#1a6b8a style I fill:#d6eaf8,stroke:#2980b9

闭环里最重要的环节是评测集与错误分析。评测集要在训练前确定,避免训练数据与评测数据重叠;错误分析要把失败样本归类,判断问题出在数据覆盖、答案质量、格式模板还是模型能力,再决定补数据、改模板还是换模型。

3.5 合成数据与拒绝采样

合成数据是扩充 SFT 数据的主要手段,常见方法如下:

  • Self-Instruct:从少量种子任务出发,让模型生成新指令与回答,经过规则过滤、去重和人工抽检后加入训练集。
  • Magpie:利用对齐模型对话模板的左侧结构,只给模型看到 user 消息之前的部分,让模型自动生成用户问题,再生成回答并筛选高质量样本。
  • 拒绝采样:对同一问题采样多条回答,用答案校验器、奖励模型或规则筛掉错误样本,保留正确答案或高质量回答。数学、代码等可验证任务常用这种方法。

合成数据的风险包括事实错误、风格同质化、模型自我复制、评测集泄漏和许可证问题。实践中保留一套人工编写的种子数据与评测集,使用多个教师模型生成,规则过滤与人工抽检结合,训练前做去重与去污染。

4. SFT 在大模型中的具体应用

4.1 通用指令遵循与对话助手

通用对话助手是 SFT 最典型的应用。训练数据覆盖问答、写作、改写、翻译、总结、头脑风暴、拒绝不当请求、追问缺失信息等任务,目标是让模型稳定理解系统提示、保持多轮上下文、按用户要求输出。

这类数据的关键在覆盖面和一致性:任务类型要全、提问方式要多样、回答风格要统一。数据量通常从数万条起步,配合偏好优化提升有用性与安全性。评测可以用人工 pairwise 对比、LLM-as-judge、指令遵循基准和安全性评测。

4.2 领域知识与行业助手

医疗、法律、金融、电商客服等行业助手需要掌握术语、业务流程和回复规范。SFT 在这里负责教模型使用领域术语、按行业流程组织回答、遵循合规与话术要求。领域知识本身可以通过继续预训练注入,也可以通过 RAG 在推理时提供。

领域 SFT 的数据通常由专家编写或审核,包含真实案例、边界情况、错误示范和标准话术。评测需要领域专家参与,单靠通用 benchmark 无法判断专业性与合规性。

4.3 结构化输出与函数调用

很多业务要求模型输出固定结构的 JSON、表格或函数调用。SFT 通过大量“输入 + 目标结构”的示范,让模型学会字段名、字段顺序、枚举值、嵌套结构和缺省处理。

结构化输出任务的数据要覆盖:

  • 正常输入与完整字段。
  • 缺失信息时的追问或默认值。
  • 多个意图时的字段合并。
  • 不需要调用工具时的拒答。
  • 工具参数类型错误、工具返回错误时的处理。

SFT 教模型“按什么格式输出”,推理阶段还可以叠加 JSON Schema 校验、约束解码和重试机制,把格式错误率降到更低。

4.4 Agent 与工具使用

Agent 需要在多轮交互中规划步骤、调用工具、读取结果、修正计划并给出最终答案。SFT 可以把成功的 Agent 轨迹作为示范,教模型何时调用工具、如何填写参数、如何根据工具返回继续推理。

一条 Agent SFT 样本通常包含任务描述、工具定义、多轮 assistant 工具调用、tool 返回内容和最终回答。损失覆盖 assistant 的工具调用与最终回答,tool 返回部分 mask 掉。训练数据可以来自人工演示、强模型轨迹、真实环境中的成功日志,也可以由环境自动生成任务与验证答案。

Agent SFT 的难点在环境可复现性、轨迹长度、工具错误处理和信用分配。字节 Axion 1.0 的训练配方提供了参考:第一段 SFT 教模型自包含推理,第二段 SFT 教模型使用搜索、网页访问、学术检索和 Python 执行,再用异步 GRPO 强化学习提升任务成功率。华为 openPangu-2.0 也开源了预训练、SFT 与后训练 RL 代码,说明 SFT 仍是工业级训练流水线的标准组件。

4.5 推理能力与长思维链

推理模型的训练通常采用“冷启动 SFT + 强化学习”的两段式流程。冷启动 SFT 用少量高质量的长思维链数据,教模型按步骤思考、自我检查、给出最终答案;强化学习再用可验证奖励提升正确率与泛化能力。

DeepSeek-R1 的经验值得参考:纯 RL 的 R1-Zero 在可读性和语言一致性上存在问题,R1 在 RL 前加入冷启动 SFT,输出质量和可读性明显改善。论文《SFT Memorizes, RL Generalizes》进一步指出,SFT 在分布外变体上容易记忆训练数据,RL 的泛化能力更强;SFT 的作用是稳定输出格式,为后续 RL 提供可用的起点。

这类应用不要把 SFT 当成提升推理能力的唯一手段。SFT 适合教格式、步骤和基础策略,RL 适合在可验证任务上探索更优解法。两者配合,效果通常好于单独使用其中一种。

4.6 模型蒸馏与小模型

模型蒸馏用强模型生成数据,再对小模型做 SFT。教师模型负责提供高质量回答、推理过程或结构化输出,学生模型学习教师的输出分布。Qwen3 技术报告提到利用旗舰模型的知识降低小模型训练成本,小参数模型因此获得更强的指令遵循与推理表现。

蒸馏数据要过滤教师的错误答案,保留过程清晰、格式规范的样本。学生模型容量有限,数据难度要匹配,过难的数据会变成噪声。评测时同时对比教师模型、学生基线模型和同尺寸开源模型,判断蒸馏带来的真实收益。

4.7 多模态与垂直任务

多模态模型同样使用 SFT 对齐图文任务。数据由图像、指令和回答组成,任务包括图像描述、视觉问答、文档解析、图表理解、GUI(Graphical User Interface,图形用户界面)操作等。训练时图像由视觉编码器处理,损失只计算回答 token。

垂直多模态任务的代表是文档解析与计算机操作智能体。文档解析需要模型输出结构化 JSON,GUI 智能体需要模型根据截图决定点击、输入或滚动。这类数据采集成本高,通常结合合成数据、真实截图和人工标注。

4.8 风格、安全与品牌对齐

品牌语气、客服话术、拒绝方式、安全边界都可以通过 SFT 调整。企业希望模型用统一的语气回复客户、在敏感话题上按规范拒答、在不确定时主动追问,这些行为适合用示范数据教。

安全对齐通常先用 SFT 教模型基本的拒绝与安全回复格式,再用偏好优化调整边界情况的取舍。安全数据要覆盖正常请求、边界请求、对抗性请求和过度拒绝场景,避免模型变得“什么都不敢答”。

4.9 场景选择对照表

场景 核心目标 数据形态 典型数据量 主要评估指标
通用对话 指令遵循、多轮上下文 多轮对话 1 万到 10 万条 人工对比、LLM 评分、指令遵循率
领域助手 术语、流程、合规 专家问答、业务案例 1 千到 2 万条 专家评审、任务准确率、合规率
结构化输出 JSON、表格、字段稳定 输入 + Schema + 输出 1 千到 1 万条 解析成功率、字段准确率
函数调用 工具选择、参数填写 工具定义 + 调用轨迹 1 千到 1 万条 调用准确率、参数准确率、拒调率
Agent 规划、工具使用、多轮修正 环境轨迹 数千到数万条 任务成功率、步骤数、工具错误率
推理冷启动 长思维链、步骤规范 题目 + 过程 + 答案 数千到数万条 答案准确率、过程质量
模型蒸馏 小模型学习大模型 教师生成数据 1 万到 10 万条 对比教师与基线
多模态 图文理解、文档解析 图像 + 指令 + 回答 数千到数万条 任务指标、人工评审
风格与安全 语气、拒答、品牌规范 示范对话、红队数据 数百到数千条 风格一致率、安全率、过度拒答率

5. 实战:用 Unsloth 做一次领域 SFT

5.1 任务定义与数据设计

本节用电商客服工单分类任务演示 SFT。输入是用户工单文本,输出是固定结构的 JSON:

{
  "category": "物流 | 退款 | 商品 | 其他",
  "priority": "高 | 中 | 低",
  "reply": "给用户的回复"
}

数据集共 105 条,训练集 75 条、验证集 15 条、测试集 15 条。训练集覆盖四类工单和三种优先级;测试集包含训练中未出现的场景,例如多意图工单、破损退款、颜色不符和发票信息错误。

第一版训练集只有 60 条。跑完第一轮后,测试集暴露出几类稳定错分:质量退款被归到商品、发票更正被归到退款、退款加物流的多意图工单被归到物流、物流长时间无更新被归到高优先级。根据错误分析补了 15 条规则覆盖样本,训练集扩到 75 条。

一条训练样本如下:

{"messages":[{"role":"system","content":"你是电商客服助手。根据用户工单输出 JSON,字段为 category、priority、reply。category 只能是 物流、退款、商品、其他;priority 只能是 高、中、低。reply 用简洁中文说明处理动作。只输出 JSON,不要输出其他内容。"},{"role":"user","content":"订单 A1024 已经 2 天没有物流更新了,麻烦帮我看看。"},{"role":"assistant","content":"{\"category\":\"物流\",\"priority\":\"中\",\"reply\":\"已为您登记催发货,订单 A1024 预计 24 小时内更新物流信息。\"}"}]}

数据设计围绕业务规则展开:物流延迟归为物流/中;破损、退款、投诉归为高优先级;信息缺失时在 reply 中追问订单号;多意图工单按主诉求分类。规则通过训练样本反复出现,模型在测试集上才能稳定迁移。

5.2 环境准备与模型选择

本教程使用 Unsloth 作为唯一训练框架。Unsloth Desktop 提供图形界面,适合不写代码的读者;Unsloth Core 提供 Python API,适合需要脚本化和批量实验的读者。两者共用同一套训练内核。本文的训练与评测数字使用 Unsloth Core 跑出;Desktop 的安装流程、训练页字段与 Turing 精度行为已单独实测,结论见本节后半。

Qwen3.5 提供 0.8B、2B、4B、9B、27B、35B-A3B 等规格。本教程提供 2B 和 4B 两套配置:

模型 16-bit LoRA 显存 建议显卡 定位
Qwen3.5-2B 约 5GB 8GB 左右 低配版、快速迭代、较简单的 Schema
Qwen3.5-4B 约 10GB 12-16GB 以上 主推版、规则更复杂、效果更好

表中是 Unsloth 官方估算;本教程使用 text_only 加载,实测峰值见 5.5 节。

本机实测环境:RTX 2080 Ti 22GB、Turing 算力 7.5、47GB 内存、Windows、CUDA 13.3 驱动。Qwen3.5 的 GDN(Gated DeltaNet,门控线性注意力)层在 float16 下会产生 NaN 梯度,Unsloth 会强制 float32;本机通过 bf16 加载与训练,2B 的峰值显存约 3.8GB。Turing 没有原生 bf16,速度慢于 Ampere 及以上显卡;RTX 30/40、A100 使用原生 bf16,不需要兼容补丁。

RTX 20 系列需要额外处理两处限制:Unsloth 默认把 bf16 当作不支持并降为 fp16;Transformers/Accelerate 也会按 Ampere+ 拒绝 bf16 训练参数。示例项目的 unsloth_turing.py 把 bf16 探测改为 True,训练参数里的 fp16 与 bf16 开关都设为 False,让模型保持 bf16 计算。Ampere 及以上显卡不需要这个补丁,直接在 SFTConfig 里设置 bf16=True 即可。Desktop 在 Turing 上的默认行为与补丁注入后的对照实测见本节末尾。

Qwen3.5 官方不建议使用 QLoRA。4-bit 量化在这类模型上的差异高于常规水平,稠密模型和 MoE 模型都建议使用 16-bit LoRA。本教程的 2B/4B 配置都使用 16-bit LoRA。

安装 Unsloth Desktop(安装包见资源下载区):

  1. 双击安装包完成安装,桌面与开始菜单会出现 Unsloth 图标。备选渠道为 winget install --id UnslothAI.Unsloth -e --source winget。
  2. 首次启动弹出安装对话框,安装位置默认为 C:\Users\<用户名>\.unsloth\studio,可点击"更改"调整。对话框中的“仅聊天 (GGUF)”勾选框(GGUF 即 GPT-Generated Unified Format,大模型权重文件格式)会跳过训练依赖、只装推理组件,需要微调时保持不勾选。

Unsloth Desktop 首启安装对话框

  1. 点击"开始使用"后,Desktop 在安装目录内自建一套独立环境:由 uv 提供 Python 3.13,再装 PyTorch 与 Unsloth 训练后端,不复用本机已有的 Python、venv 或 conda 环境。安装器会自动测速,国内网络下切换到 TUNA 与 npmmirror 镜像,展开"显示安装详情"可以看到当前步骤。
  2. 安装完成后进入主界面。国内网络下 Desktop 会自动把模型来源切换为 ModelScope 并弹出提示,侧栏的"训练"即微调入口。

Unsloth Desktop 主界面与 ModelScope 来源提示

训练页的"方法"下拉提供 QLoRA、LoRA、全量微调、持续预训练四项,默认 QLoRA(4 位量化)。本教程按 Qwen3.5 的官方建议选 LoRA(16 位)。

训练方法下拉选项

"参数"区切到"高级"后,"优化 / 计划 / 内存"三个页签覆盖优化器、LR 调度器、批大小、梯度累积、权重衰减、预热步数、轮数、保存与评估步数、随机种子、LoRA Rank/Alpha/Dropout、目标模块、梯度检查点、packing、仅助手回复等项;右侧"运行预览"实时显示方法、步数、批大小、上下文长度与识别到的显卡和显存。

训练页配置与运行预览

高级参数内存页签

整个训练页没有精度或 dtype 开关,精度由后端按显卡算力自动决定。Ampere 及以上显卡不受影响;Turing 上则命中前述 fp16 降级问题。本机在 Desktop 托管环境(Python 3.13、torch 2.11.0+cu130、unsloth 2026.11.3、trl 0.23.1)实测加载 Qwen3.5-2B:

加载方式 bf16 探测 实际加载 dtype 结论
Desktop 默认调用(dtype=None,无补丁) False float16 日志写"Using float32"但实际落 fp16,Qwen3.5 训练会产生 NaN
进程内调用 unsloth_turing 补丁后(dtype=None) True bfloat16 与 Core 实测一致
调用补丁并显式 dtype=bfloat16 True bfloat16 同上

注入补丁后在托管环境跑 2 步冒烟训练:loss 从 2.116 降到 1.659,grad_norm 为 10.12 与 7.39,均为有限值,模型保持 bfloat16。对照探针见 sft-demo/probe_dtype.py,用 Core 或 Desktop 托管环境的解释器运行均可复现上表。

补丁改写的是 Python 模块属性,Desktop 托管环境是独立解释器,Core 环境里的补丁不会自动带过去。实测在托管环境进程内调用 enable_bf16_on_turing() 后,Desktop 同款加载调用即落 bf16;把该调用常驻化到托管环境(site-packages 的 sitecustomize.py 加 import 后置钩子,或改写托管环境源码)可以让界面训练受益,代价是 Studio 更新后需要重新注入,本文未对常驻化方式逐一实测。RTX 20 系列读者不想维护注入时,训练走 Core 加补丁、Desktop 用于聊天与数据准备是更省心的分工;RTX 30/40、A100 直接使用 Desktop 图形界面即可。

使用 Unsloth Core 时,建议单独创建 Python 3.12 环境:

uv venv .venv --python 3.12
uv pip install --python .venv/Scripts/python.exe torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130
uv pip install --python .venv/Scripts/python.exe unsloth

Unsloth 训练要求 Python 3.11-3.13;Qwen3.5 依赖 transformers v5,Unsloth 会自动安装匹配版本。

模型可以从 ModelScope 下载到本地:

uv pip install --python .venv/Scripts/python.exe modelscope
modelscope download --model Qwen/Qwen3.5-2B --local_dir models/Qwen3.5-2B
modelscope download --model Qwen/Qwen3.5-4B --local_dir models/Qwen3.5-4B

5.3 数据导入与模板

Unsloth Desktop 训练页的"数据集"区支持上传本地 JSONL(JSON Lines,逐行 JSON;也接受 CSV、JSON、PARQUET、PDF、DOCX、TXT、MD),并指定训练拆分与评估拆分;本教程的 messages 格式 JSONL 可直接上传。Unsloth Core 使用 datasets.load_dataset("json", data_files=...) 读取数据。

训练和推理必须使用同一个聊天模板。Qwen3.5 的模板由 tokenizer 自带,不需要手写特殊 token。训练时用 add_generation_prompt=False 渲染完整样本;推理时用 add_generation_prompt=True,并关闭思考模式。

为了让损失只覆盖回答,训练数据转换成 prompt-completion 形式:

prompt = tokenizer.apply_chat_template(
    messages[:-1],
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
full = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=False,
    enable_thinking=False,
)
completion = full[len(prompt):]

Unsloth/TRL(Transformer Reinforcement Learning,Hugging Face 强化学习训练库)的 completion_only_loss=True 会 mask 掉 prompt 部分,只对 completion 计算交叉熵。Qwen3.5 的聊天模板没有 {% generation %} 标记,使用 prompt-completion 数据集比 assistant_only_loss 更稳。

5.4 训练配置

本教程实测使用的训练配置如下,以 Core 脚本为准;Desktop 训练页可设置除精度外的对应项,字段位置见 5.2:

参数 2B 4B 说明
训练方式 LoRA (16-bit) LoRA (16-bit) Qwen3.5 不建议 QLoRA
LoRA rank 16 16 低秩适配的秩
LoRA alpha 32 32 缩放系数,通常取 rank 的 2 倍
LoRA dropout 0.05 0.05 小数据防过拟合
max_seq_length 2048 2048 本数据集单条样本远小于 2048
batch size 1 1 单卡
gradient accumulation 8 8 有效 batch 为 8
learning rate 1e-4 1e-4 LoRA 常用范围
epochs 3 3 75 条训练样本约 30 个优化步
precision bf16 bf16 仅 Core 可显式设置;Desktop 无精度开关,Turing 行为见 5.2
gradient checkpointing unsloth unsloth 降低激活显存
eval/save steps 20 20 训练中途保存一次检查点

Unsloth Core 的核心代码:

import torch
from unsloth import FastLanguageModel
from trl import SFTConfig, SFTTrainer

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="models/Qwen3.5-4B",
    max_seq_length=2048,
    dtype=torch.bfloat16,
    load_in_4bit=False,
    load_in_16bit=True,
    full_finetuning=False,
    text_only=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    use_gradient_checkpointing="unsloth",
    random_state=3407,
)

trainer = SFTTrainer(
    model=model,
    train_dataset=train_dataset,
    eval_dataset=val_dataset,
    processing_class=tokenizer,
    args=SFTConfig(
        output_dir="outputs/qwen3.5-4b",
        max_seq_length=2048,
        per_device_train_batch_size=1,
        gradient_accumulation_steps=8,
        learning_rate=1e-4,
        num_train_epochs=3,
        lr_scheduler_type="cosine",
        warmup_steps=5,
        fp16=False,
        bf16=False,
        optim="adamw_8bit",
        completion_only_loss=True,
        logging_steps=1,
        save_steps=20,
        eval_steps=20,
        report_to="none",
    ),
)
trainer.train()

2B 版本把 model_name 换成 models/Qwen3.5-2B,其余参数可以保持一致。完整脚本见 sft-demo/train_unsloth.py。

Unsloth 的微调入口封装了 TRL 的 SFTTrainer,代码里的 trl 导入属于 Unsloth 训练链路的一部分,没有引入第二套框架。Ampere 及以上显卡在 SFTConfig 中设置 bf16=True;RTX 20 系列按 5.2 节的兼容补丁处理,示例脚本把 fp16 与 bf16 都设为 False,让模型保持 bf16 计算。

5.5 训练过程观察

训练开始后重点观察以下信号:

信号 正常表现 异常表现与处理
训练 loss 逐步下降并趋于平稳 不下降:检查模板、completion mask、学习率、数据解析
验证 loss 与训练 loss 同步下降 训练降、验证升:过拟合,减少 epoch 或补数据
梯度范数 小幅波动 持续尖峰:降低学习率,检查脏数据
显存 2B 约 4GB,4B 约 8GB(text_only) 接近上限:降低 max_seq_length,保持 batch=1
生成样例 格式逐渐稳定 格式混乱:检查 chat template 与 EOS

本次实测:

模型 训练样本 优化步数 训练耗时 峰值显存
Qwen3.5-2B 75 30 149.6 秒 3.67GB
Qwen3.5-4B 75 30 475.2 秒 8.20GB

SFT 的 loss 低不代表模型质量好。模型可能记住训练集答案,loss 接近 0,遇到新输入仍然答错。训练过程中要定期用验证集生成样例,检查格式、字段和回复质量。

5.6 优化前后的数据对比

测试集 15 条,全部不参与训练。零样本基线使用同一个系统提示词,不提供示例;SFT 模型使用训练后的合并权重。两组使用相同的解码参数:贪心解码、max_new_tokens=256、关闭思考模式。

模型 版本 JSON 合法率 category 准确率 priority 准确率 回复含订单号
Qwen3.5-2B 零样本 100% 40.0% 40.0% 6.7%
Qwen3.5-2B SFT 100% 93.3% 86.7% 100%
Qwen3.5-4B 零样本 100% 60.0% 60.0% 20.0%
Qwen3.5-4B SFT 100% 86.7% 93.3% 100%

2B 和 4B 的 JSON 合法率都保持在 100%,SFT 的收益集中在 category、priority 和回复中的订单号。2B 的 category 准确率略高,4B 的 priority 准确率略高;测试集只有 15 条,1-2 条差异不足以判断模型优劣。4B 的零样本基线明显强于 2B,训练时间约为 2B 的 3 倍,峰值显存约为 2.2 倍。低显存设备优先 2B,追求更高基线质量且显存充足时选 4B。

2B SFT 仍会把“发票税号更正”归到退款类;4B SFT 在这一条上判断正确,但在另外两个边界样本上出现错分。测试集覆盖的是训练中未出现的措辞,这些剩余错误说明规则覆盖和数据多样性仍有提升空间。

一组前后对例如下:

输入:

订单 D4210 收到的咖啡机是坏的,我要求退款。

SFT 前:

{"category":"商品","priority":"高","reply":"已受理您的退款申请,将立即为您办理退货处理,并安排补发新机。"}

SFT 后:

{"category":"退款","priority":"高","reply":"已为您登记质量问题退款,订单 D4210 请提供商品照片,我们会尽快处理。"}

5.7 导出与推理

Unsloth 支持导出 LoRA 适配器、合并 16-bit 权重与 GGUF。Unsloth Desktop 在训练完成后提供导出按钮;Unsloth Core 使用:

model.save_pretrained("outputs/qwen3.5-4b/lora")
model.save_pretrained_merged(
    "outputs/qwen3.5-4b/merged",
    tokenizer,
    save_method="merged_16bit",
)

合并后的模型可以用 Unsloth 的 FastLanguageModel 加载,也可以导出 GGUF 交给 Ollama / llama.cpp 部署。推理时保持与训练相同的模板,并关闭思考模式:

import torch
from unsloth import FastLanguageModel

model, processor = FastLanguageModel.from_pretrained(
    model_name="outputs/qwen3.5-4b/merged",
    max_seq_length=2048,
    dtype=torch.bfloat16,
    load_in_4bit=False,
    load_in_16bit=True,
    full_finetuning=False,
    text_only=True,
)
tokenizer = getattr(processor, "tokenizer", processor)

messages = [
    {"role": "system", "content": "你是电商客服助手。根据用户工单输出 JSON,字段为 category、priority、reply。"},
    {"role": "user", "content": "收到的杯子有裂纹,想退款。"},
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

RTX 20 系列加载 bf16 模型后,Unsloth 的快速生成封装会尝试 bf16 autocast,PyTorch 在 Turing 上会拒绝。示例项目 sft-demo/evaluate.py 使用 Transformers 原生 GenerationMixin.generate 绕开这一步;RTX 30/40、A100 不需要这个处理。

对比基座模型与 SFT 模型时,使用同一组测试 prompt、相同的解码参数和相同的模板。采样温度设为 0,减少随机性带来的差异。

5.8 常见问题排查

现象 可能原因 处理方式
loss 不下降 学习率过低、模板不匹配、completion 为空、数据解析失败 检查聊天模板与 prompt/completion 切分,确认 completion 包含结束符
loss 接近 0 数据太少、重复太多、训练轮数过多、训练集泄漏 减少 epoch,补多样数据,检查去重
输出格式错误 训练与推理模板不一致、EOS 缺失、训练数据本身格式错误 统一模板,保留 EOS,先校验数据
模型不会停止 EOS 未参与训练、max_new_tokens 过大 让结束符进入 completion,生成时显式设置 EOS
重复输出 数据重复、训练过久、贪心解码 去重,减少 epoch,调整解码参数
通用能力下降 领域数据比例过高、学习率过大、过拟合 混入通用数据,降低学习率,减少 epoch
显存不足 序列过长、batch 过大、未开梯度检查点 降低 max_seq_length,保持 batch=1,开启 gradient checkpointing,改用 2B
2B 效果不足 模型容量有限、规则较复杂 改用 4B;或增加高质量边界样本
中英混杂 训练数据语言混杂、模板或 tokenizer 不匹配 增加中文数据,统一语言风格,检查特殊 token
JSON 字段缺失 训练样本覆盖不足、缺少 Schema 约束 补充边界样本,推理时加 Schema 校验与重试
Desktop 训 Qwen3.5 出现 NaN Turing 上 bf16 被降为 fp16,日志写 float32 但实际加载 fp16 训练走 Core 加补丁,或向 Desktop 托管环境注入补丁,见 5.2
Desktop 安装卡在 llama.cpp 下载 国内网络下 GitHub 大文件传输停滞 该组件只服务 GGUF 聊天,训练不依赖它;可重试安装或改用 Core
Desktop 启动报 Invalid port 环境变量 NO_PROXY 含 IPv6 条目触发 httpx 解析错误 清除 NO_PROXY 后重新启动

6. SFT 与 RL 的分工

6.1 三种训练信号

后训练阶段常见三类信号:

信号 数据形态 代表方法 告诉模型什么
示范 输入 + 标准输出 SFT 遇到这类输入,按这个示范输出
偏好 同一输入的两个回答及偏好 DPO、RLHF A 比 B 更好
奖励 任务 + 可验证得分 RLVR、PPO、GRPO 这样做的得分更高

SFT 是离线监督学习,训练稳定、实现简单、成本低;偏好优化也是离线训练,需要偏好对;强化学习需要采样与奖励计算,训练复杂,泛化潜力更大。

6.2 为什么 SFT 之后还要 RL

SFT 教模型模仿示范,模型容易记住训练数据中的具体模式。论文《SFT Memorizes, RL Generalizes》在算术卡牌游戏与真实导航环境中对比了两种方法:RL 在规则和视觉变体上的泛化更好,SFT 更容易记忆训练数据;SFT 仍然不可缺少,因为它能稳定输出格式,让后续 RL 的训练信号有效。

这解释了现代后训练流水线的常见结构:

graph LR A[基座模型] --> B[SFT
学会格式与基本行为] B --> C{任务有可验证奖励?} C -->|是| D[RLVR
数学 / 代码 / 工具任务] C -->|否| E{有偏好数据?} E -->|是| F[DPO / RLHF
风格 / 安全 / 有用性] E -->|否| G[继续补 SFT 数据] D --> H[评估与部署] F --> H G --> B style A fill:#e8f4f8,stroke:#1a6b8a style B fill:#d5f5e3,stroke:#27ae60 style C fill:#ffecd6,stroke:#b7950b style D fill:#fadbd8,stroke:#c0392b style E fill:#ffecd6,stroke:#b7950b style F fill:#fdebd0,stroke:#e67e22 style G fill:#d6eaf8,stroke:#2980b9 style H fill:#ebdef0,stroke:#8e44ad

Tulu 3 采用 SFT、DPO、RLVR 三阶段配方;DeepSeek-R1 采用冷启动 SFT 加 RL;字节 Axion 1.0 采用两段 SFT 加异步 GRPO。这些公开配方都把 SFT 放在流水线前段,用 RL 提升可验证任务上的表现。

6.3 何时只用 SFT

以下情况可以停在 SFT:

  • 任务有明确的输入-输出映射,示范数据充足。
  • 目标是格式、风格、领域话术、结构化输出。
  • 没有可靠的奖励函数或偏好数据。
  • 算力有限,无法承担 RL 的采样与训练成本。
  • SFT 模型在评测集上已经满足业务要求。

需要继续加 RL 的情况:

  • 任务有可验证的正确答案,SFT 模型的泛化不足。
  • 需要模型探索多条解题路径,示范数据覆盖不了。
  • 需要优化多步 Agent 任务的成功率与效率。
  • SFT 后模型格式稳定,但正确率遇到瓶颈。

SFT 解决“会不会按格式做”,RL 解决“做得好不好、能不能泛化”。先用 SFT 把行为基线建起来,再判断是否需要 RL,可以避免在数据与流程还没理顺时引入强化学习的复杂度。

7. 总结

7.1 核心内容回顾

  • SFT 是后训练的第一个阶段,用示范数据教模型如何回答,知识主要来自预训练。
  • 训练目标仍是下一个 token 交叉熵,损失只计算回答 token,system 与 user 部分 mask 掉。
  • 对话模板、Loss mask、EOS 和 Packing 是训练链路上最容易出错的四个细节。
  • 数据质量、多样性、去重与去污染决定 SFT 的上限,数据量按任务类型选择。
  • LoRA 与 QLoRA 降低了显存门槛,适合大多数领域、格式与风格任务;全参数 SFT 适合大领域迁移与充足算力场景。
  • 本教程在 RTX 2080 Ti 22GB 上实测:Qwen3.5-2B 的 16-bit LoRA 训练约 150 秒、峰值显存 3.67GB;Qwen3.5-4B 约 475 秒、峰值显存 8.20GB。SFT 后 2B 的类目准确率从 40% 升到 93.3%,4B 的优先级准确率从 60% 升到 93.3%。
  • SFT 的典型应用包括通用对话、领域助手、结构化输出、函数调用、Agent、推理冷启动、模型蒸馏、多模态与安全对齐。
  • SFT 与 RL 分工明确:SFT 学示范、稳格式,RL 学奖励、提泛化。现代流水线通常先用 SFT 建立基线,再按任务需要加入 DPO 或 RLVR。
  • 评估要覆盖格式、任务指标、回答质量和通用能力回归,训练 loss 不能单独作为判断依据。

7.2 常见问题与解答

问:SFT 需要多少数据?

答:格式、风格、分类任务通常 500-5,000 条高质量数据即可;通用指令遵循需要 1 万到 10 万条;Agent 与推理任务看轨迹多样性,通常数千到数万条。先用小规模高质量数据跑通闭环,再根据错误分析补数据。

问:SFT 能让模型学会新知识吗?

答:可以注入一部分领域知识,大规模知识注入更适合继续预训练或 RAG。SFT 的主要作用是教行为、格式与任务流程。把大量领域文档直接塞进 SFT,容易导致通用能力下降。

问:LoRA 和 SFT 是什么关系?

答:SFT 是训练阶段与目标,LoRA 是参数更新方法。可以用 LoRA 做 SFT,也可以全参数做 SFT。LoRA 只更新少量低秩矩阵,显存占用低,适合快速实验与多任务适配。

问:Qwen3.5-2B 和 4B 怎么选?

答:显存 8GB 左右选 2B,12-16GB 以上选 4B。2B 训练更快、显存更低;4B 的零样本基线更强,优先级判断更稳。本教程的测试集只有 15 条,2B SFT 的类目准确率略高、4B SFT 的优先级准确率略高,1-2 条差异不足以判断模型优劣,按显存和延迟要求选择即可。

问:为什么只对 assistant 计算 loss?

答:让模型把参数更新集中在回答上,避免反复学习用户提问。多轮对话中按角色 mask,保留 assistant 轮次;是否计算所有轮次取决于训练目标。

问:SFT 后通用能力下降怎么办?

答:先检查学习率、epoch、领域数据比例和训练方式。可以混入 10%-30% 的通用数据,降低学习率,减少 epoch,改用 LoRA,并保留通用能力回归集。对齐税在偏好优化阶段也会出现,评估时要把知识与行为分开看。

问:SFT 和 DPO、RLHF 怎么选?

答:有高质量示范、目标是格式/风格/流程时,先用 SFT;有偏好对、需要细粒度调整有用性与安全性时,加 DPO;有可验证奖励、需要提升推理或工具任务泛化时,加 RLVR。不是每个项目都需要走完整个后训练流水线。

问:如何判断过拟合?

答:训练 loss 持续下降、验证 loss 上升,生成变得模板化或重复,通用能力下降,对训练集 prompt 过度拟合,都是过拟合信号。保留验证集,早停,检查数据重复,减少 epoch。

问:中文 SFT 有哪些常见问题?

答:模板与 tokenizer 不匹配、中英混杂、全半角标点不一致、数据长度截断、评测集污染、领域术语不统一。准备中文验证集与人工抽检,统一术语表和标点规范,能减少大部分问题。

7.3 延伸阅读

主题 资料 链接
指令微调与人类反馈 InstructGPT 论文 https://arxiv.org/abs/2203.02155
少量高质量指令数据 LIMA 论文 https://arxiv.org/abs/2305.11206
自动合成指令数据 Magpie 论文 https://arxiv.org/abs/2406.08464
开放后训练配方 Tulu 3 论文 https://arxiv.org/abs/2411.15124
推理模型冷启动与 RL DeepSeek-R1 论文 https://arxiv.org/abs/2501.12948
SFT 与 RL 的泛化差异 SFT Memorizes, RL Generalizes https://arxiv.org/abs/2501.17161
低秩适配 LoRA 论文 https://arxiv.org/abs/2106.09685
4bit 量化微调 QLoRA 论文 https://arxiv.org/abs/2305.14314
偏好优化 DPO 论文 https://arxiv.org/abs/2305.18290
Unsloth 框架 Unsloth 官方仓库 https://github.com/unslothai/unsloth
Qwen3.5 微调 Unsloth Qwen3.5 微调指南 https://unsloth.ai/docs/zh/mo-xing/qwen3.5/fine-tune
硬件要求 Unsloth 显存与系统要求 https://unsloth.ai/docs/zh/kuai-su-kai-shi/fine-tuning-for-beginners/unsloth-requirements