大模型微调领域名词大全：SFT、LoRA、RLHF 一次讲清楚

做 LLM 微调（Fine-tuning，微调）时，文档、论文、GitHub README 里会蹦出大量缩写：SFT、LoRA、QLoRA、DPO、GRPO、AWQ……很多人第一次读 LLaMA-Factory 的文档时，一半的参数名都是陌生的。

这篇博客把大模型微调全链路（数据 → 训练 → 对齐 → 量化 → 评测 → 部署）涉及的专业名词做一次系统梳理，每个名词给出英文全称 + 中文解释 + 必要的展开说明，并附上不同微调方法的显存/硬件需求参考，方便对照着看框架文档。

一、先建立全景图：微调在训练流程中的位置

一个典型的 LLM 从"预训练裸模型"变成"可用的聊天模型"，要经历下面几个阶段：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

预训练 (Pre-training)
    ↓  海量文本上自回归训练，学到语言与世界知识
基础模型 (Base Model)
    ↓
监督微调 (SFT / Instruction Tuning)
    ↓  用"指令-回答"数据教模型听话
指令模型 (Instruct / Chat Model)
    ↓
偏好对齐 (RLHF / DPO / GRPO / ...)
    ↓  用人类偏好让回答更安全、有用、更符合口味
对齐模型 (Aligned Model)
    ↓
量化 (Quantization) + 评测 (Evaluation) + 推理部署 (Inference / Serving)

对应的模型称呼：

一句话：Base 会说话，Instruct 听话，Chat 讨人喜欢。

二、微调方法：Full FT 与 PEFT

2.1 全参数微调（Full Fine-tuning, Full FT）

把模型所有参数都参与更新。效果上限最高，但显存需求巨大：7B 模型用 AdamW 训练，参数 + 梯度 + 优化器状态大约需要 7B × (2+2+12) ≈ 140GB（混合精度下），单卡基本跑不动，必须上多卡 + ZeRO/FSDP。

相关名词：

2.2 参数高效微调（PEFT, Parameter-Efficient Fine-Tuning, 参数高效微调）

HuggingFace 提出的统称：只训练原模型参数的一小部分（通常 <1%），其余冻结。代表方法 LoRA 是目前工业界的事实标准。

PEFT 家族总览：

2.3 LoRA（Low-Rank Adaptation, 低秩适应）详解

LoRA 是微调领域出镜率最高的词，必须拆开讲透。

原理：不直接改预训练权重 W，而是学一个低秩增量：

1
2
3
4
5

W' = W + ΔW = W + B · A
    W: d×d  (冻结)
    A: r×d  (随机初始化，如高斯)
    B: d×r  (零初始化)
    r ≪ d   (秩，rank)

前向传播时 B·A 与 W 并行相加，训练只更新 A、B，显存和速度都省了。初始时 B=0，所以 LoRA 起步等价于原模型，训练稳定。

LoRA 相关高频名词：

LoRA 的优缺点：

• 优点：显存省、速度快、一个基座挂多个领域 adapter、可合并回原模型；
• 缺点：多任务叠加时多个 LoRA 合并可能互相干扰（“LoRA 打架”），对基座能力改动过大时不如 Full FT。

2.4 QLoRA（Quantized LoRA, 量化 LoRA）

QLoRA = 4bit 量化的冻结基座 + 全精度 LoRA。核心组件：

效果：65B 模型微调可以塞进单张 48GB 卡（QLoRA 论文的招牌结果）。现在 LLaMA-Factory 里 quantization_bit: 4 + bfloat16 就是 QLoRA。

2.5 其他值得知道的变体（一句话版）

• DoRA（Weight-Decomposed LoRA）：把权重拆成"幅度 m × 方向 v"，LoRA 只学方向、幅度单独学，微调后的权重分布更接近 Full FT，效果通常优于 LoRA；
• AdaLoRA（Adaptive LoRA）：根据每个矩阵梯度奇异值的重要性动态分配秩预算，还能剪掉无用的秩；
• iLoRA（improved LoRA）：改进 A/B 初始化方式，使秩 256 的 LoRA 也能稳定训练；
• IA3（Inter-layer Adapter）：不学矩阵，只学每个层输出通道上的对角缩放向量，参数比 LoRA 还少一个量级；
• GaLore（Gradient Low-Rank Projection）：训练的是全参数，但把梯度投影到低秩空间再更新，省约 50%+ 优化器显存；
• PiSSA（Principal components SLoRA）：用 SVD 把预训练权重 W 的主成分作为 LoRA 的初始值，小数据下收敛更快、效果更好；
• SSLoRA（SVD-based LoRA）：与 PiSSA 类似，用 SVD 初始化 LoRA；
• OFT（Orthogonal Fine-Tuning, 正交微调）：把权重更新限制在正交方向（极分解），保持损失曲面和梯度流稳定，小数据上接近 Full FT；
• BoT（Basis of Training, 训练基）：固定一组正交基，只学习组合系数；
• MoELoRA（Mixture-of-Experts LoRA, 混合专家 LoRA）：多个 LoRA 当"专家"，加一个路由器按需选择，一个 adapter 服务多领域；
• S-LoRA（Serving LoRA, LoRA 推理服务系统）：推理侧系统，LoRA 感知的 KV Cache + 适配器池化，让单卡同时服务几十个 LoRA；
• R-LoRA / VLoRA（Rank-restricted / Virtual LoRA, 秩受限 / 虚拟 LoRA）：进一步压参数；
• LongLoRA（长上下文 LoRA）：针对长上下文微调，用块状注意力掩码降低长序列训练成本；
• NTK / YaRN / PI（Position Interpolation, 位置插值）：长上下文扩展的 RoPE 缩放方案。

2.6 提示类 PEFT：Prompt / Prefix / P-Tuning

特点：参数极少、可热插拔；但对小模型（7B 以下）效果通常不如 LoRA，需要超大基座才能发挥。

2.7 不同微调方法的计算资源需求（显存速查）

先记住一笔"显存账"（全参训练，每个参数约 1618 字节：bf16 权重 2B + bf16 梯度 2B + Adam 优化器状态 8B + fp32 主权重 4B，再加激活值）。下表按 **seq_len 2k4k、batch=1 + 梯度累积、开启 FlashAttention / 激活重计算** 估算：

对齐阶段的资源需求（PPO 是"四模型俱乐部"，最吃显存）：

注意：以上为粗略参考。序列长度（cutoff_len）、batch size、激活是否重计算都会显著影响实际显存；70B 级别的 Full FT 对普通团队基本不现实，社区微调 7B~14B 主流是 QLoRA / LoRA，70B 用 QLoRA 双卡或 LoRA 四卡。

三、SFT：监督微调

3.1 基本概念

3.2 数据格式（三种最常见）

Alpaca 格式（单轮，Stanford Alpaca 带火）：

1

{"instruction": "写一个快排", "input": "用 Python", "output": "def quick_sort(...)"}

ShareGPT 格式（多轮，来自 ShareGPT 抓取的真实对话）：

1
2
3
4

{"conversations": [
  {"from": "human", "value": "介绍一下 LoRA"},
  {"from": "gpt", "value": "LoRA 是低秩适应……"}
]}

ChatML 格式（多轮，角色化，OpenAI 风格，现在最主流）：

1
2
3
4
5
6

system
你是一个助手
user
介绍一下 LoRA
</think>
LoRA 是低秩适应……

相关名词：

3.3 SFT 常用超参数速查

经验法则：SFT 的效果 70% 看数据、20% 看超参、10% 看玄学。数据质量 > 数据数量是社区共识。

四、对齐与强化学习（RLHF 家族）

让模型"有用、诚实、无害"（helpful, honest, harmless）的过程统称对齐（Alignment, 对齐）。

4.1 RLHF 三件套（InstructGPT 经典流水线）

1

SFT 模型 → 训练 Reward Model (RM) → PPO 强化学习

4.2 DPO 家族（免 RL 的偏好优化）

4.3 AI 反馈与可验证奖励

4.4 对齐方法怎么选（速查表）

五、数据相关名词

六、训练过程与通用超参名词

七、分布式训练与显存优化

显存账（全参训练，每参数）：参数 2B（bf16）+ 梯度 2B + Adam 状态 12B（一阶/二阶各 4B fp32）+ 主权重 4B（fp32）≈ 16~18B/参数。这就是为什么 7B 全参训练要 ~140GB，不同方法的资源需求汇总见 2.7 节。

八、量化（Quantization, 量化）

选型速查：

九、评测（Evaluation, 评测）

9.1 自动指标

9.2 常用 Benchmark（基准测试）

9.3 评测方法名词

十、推理与部署（Inference & Serving, 推理与服务）

10.1 解码与采样参数

10.2 推理引擎

选型速查：

10.3 性能指标

10.4 常见部署形态

十一、工具链名词

十二、高频概念速查（一句话版）

十三、一个完整的微调工作流示例（把名词串起来）

用 LLaMA-Factory 对 Qwen 做 QLoRA SFT + DPO 的典型流程：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# QLoRA SFT（LLaMA-Factory yaml 片段）
model_name_or_path: Qwen/Qwen2.5-7B-Instruct
quantization_bit: 4            # QLoRA：4bit NF4 基座
lora_target: all-linear        # 所有线性层注入 LoRA
lora_rank: 16                  # rank
lora_alpha: 32                 # alpha（α/r = 2）
dataset: my_sft_data           # ChatML 格式指令数据
template: qwen                 # 对话模板（必须匹配模型！）
cutoff_len: 8192               # 最大序列长度
per_device_train_batch_size: 1 # × 4 卡 × 4 梯度累积 = 有效 batch 16
learning_rate: 1.5e-4          # LoRA 常用学习率
num_train_epochs: 3
lr_scheduler_type: cosine
warmup_ratio: 0.03
bf16: true                     # 混合精度
gradient_checkpointing: true   # 激活重计算省显存

1. 数据准备：整理 ChatML 格式指令数据 → MinHash 去重 → 检查数据污染；
2. SFT：QLoRA 训练（bf16 + gradient checkpointing，7B 一张 16GB 卡即可，见 2.7）→ 观察 val loss，防过拟合；
3. 合并/评测：merge & unload 后跑 lm-eval-harness（MMLU/C-Eval/GSM8K）+ MT-Bench（LLM-as-a-Judge）；
4. 偏好对齐：用 UltraFeedback 类偏好数据跑 DPO（显存约为 SFT 的 1.5~2 倍）；
5. 量化部署：导出 AWQ/GGUF → vLLM（数据中心）或 llama.cpp/Ollama（本地）起服务 → 压测 TTFT/吞吐；
6. 监控迭代：WandB 看 loss 曲线，线上收集 Bad Case 进数据飞轮。

写在最后

微调领域的名词迭代很快（今天的新词明年可能就过时），但主干是稳定的：

数据定下限，方法定效率，对齐定上限，评测定真相。

掌握本文的框架后，再遇到新名词（比如某个新的 PEFT 变体或对齐算法），基本都能归位到"改参数 / 改数据 / 改目标函数 / 改推理"这四类里的某一类，不会迷失。

有遗漏或错误的地方欢迎评论区指出，后续会持续更新。