第 08 期 | LoRA 微调入门：用 PEFT 定制你的专属 Gemma — Google Gemma Masterclass: Deployment, Fine-Tuning & Agent Integration

🎯 学习目标

理解微调（Fine-tuning）对预训练大模型的必要性与核心价值。
掌握 LoRA (Low-Rank Adaptation) 微调技术的基本原理及其在资源受限环境下的优势。
学会使用 Hugging Face PEFT 库配置 LoRA 适配器，并将其应用于 Gemma 模型。
能够准备 Alpaca 格式的数据集，并使用 trl 库的 SFTTrainer 在单 GPU 上进行 LoRA 微调。

📖 核心概念讲解

8.1 为什么需要微调？

大型语言模型 (LLM) 如 Gemma，在海量通用文本数据上进行预训练，具备了强大的语言理解、生成和推理能力。然而，这些通用模型在面对特定领域、特定任务或特定风格的要求时，往往表现不尽如人意。这时，微调就显得尤为重要。

预训练模型的局限性：

领域特异性不足： 预训练数据通常是泛化的，缺乏某个特定行业的专业知识或术语。
任务泛化性限制： 尽管能执行多种任务，但在特定任务（如代码生成、法律咨询、医疗诊断）上，其性能可能远不如专门训练的模型。
风格或语气不符： 模型生成的文本可能不符合目标应用所需的特定语调、品牌声音或用户交互风格。
事实准确性： 预训练模型可能存在“幻觉”现象，生成不准确或过时的事实。
安全性与偏见： 预训练数据中可能包含偏见或有害信息，模型会继承这些问题。

微调的优势：

提升任务性能： 通过在特定任务数据集上进一步训练，模型能够更好地理解任务指令并生成高质量的响应。
注入领域知识： 将专业领域的数据融入模型，使其具备该领域的专业能力。
定制模型行为： 调整模型的输出风格、语气和格式，使其更符合产品需求。
降低部署成本： 相较于从头训练一个新模型，微调成本更低，效率更高。
提高数据效率： 微调通常只需要相对较少的高质量标注数据。

8.2 什么是 LoRA (Low-Rank Adaptation)？

LoRA (Low-Rank Adaptation of Large Language Models) 是一种高效的微调技术，由 Microsoft Research 于 2021 年提出。它的核心思想是：在微调大型预训练模型时，不需要更新模型的所有参数，而是通过引入少量额外的、可训练的低秩矩阵来适应新任务。

LoRA 的核心思想：

传统的全量微调会更新 LLM 的所有权重矩阵，这需要大量的计算资源和存储空间。LoRA 认为，模型在适应新任务时，其权重矩阵的变化量 $\Delta W$ 可以通过两个较小的矩阵 $A$ 和 $B$ 的乘积来近似（即低秩分解）。

假设一个预训练权重矩阵为 $W_0 \in \mathbb{R}^{d \times k}$。在微调时，我们不直接更新 $W_0$，而是冻结 $W_0$，并引入两个低秩矩阵 $A \in \mathbb{R}^{d \times r}$ 和 $B \in \mathbb{R}^{r \times k}$，其中 $r \ll \min(d, k)$ 是秩（rank）。微调过程中，我们只训练 $A$ 和 $B$，将它们的乘积 $BA$ 添加到 $W_0$ 上。

$$ W = W_0 + \Delta W = W_0 + BA $$

其中，$BA$ 的计算成本和存储成本远低于直接更新 $W_0$。

LoRA 的工作原理示意图：

                  ┌─────────────────┐
                  │                 │
                  │   Pre-trained   │
                  │   Weight Matrix │
                  │      W_0        │
                  │ (d x k)         │
                  └─────────────────┘
                          │
                          │ (冻结 W_0)
                          ▼
                  ┌─────────────────┐
                  │                 │
                  │       +         │
                  │                 │
                  └─────────────────┘
                          │
                          ▼
                  ┌─────────────────┐   ┌─────────────┐   ┌─────────────┐
                  │                 │   │             │   │             │
                  │   Delta W       │ = │ Matrix B    │ x │ Matrix A    │
                  │ (d x k)         │   │ (d x r)     │   │ (r x k)     │
                  │                 │   │             │   │             │
                  └─────────────────┘   └─────────────┘   └─────────────┘
                                                ▲                 ▲
                                                │                 │
                                                └──── 仅训练这两个低秩矩阵 ────┘

LoRA 的主要优势：

显著减少可训练参数： LoRA 只需要训练 $A$ 和 $B$ 矩阵，其参数量远小于原始模型的参数量。例如，对于一个 7B 参数的模型，LoRA 可能只需要训练几百万参数。
降低 GPU 内存消耗： 由于只更新少量参数，梯度计算和优化器状态的内存占用大大减少，使得在消费级 GPU 上微调大型模型成为可能。
更快的训练速度： 参数量减少意味着更少的计算量，从而加速训练过程。
模型可插拔性： LoRA 适配器（即 $A$ 和 $B$ 矩阵）可以独立于原始模型进行保存和加载。这意味着可以为同一个基础模型训练多个不同的适配器，根据任务需求灵活切换，而无需存储多个完整的模型副本。
避免灾难性遗忘： 由于原始预训练权重被冻结，LoRA 有助于保留模型的通用能力，减少在特定任务微调时对通用知识的遗忘。

8.3 Hugging Face PEFT 库简介

PEFT (Parameter-Efficient Fine-Tuning) 是 Hugging Face 推出的一个库，旨在简化和标准化各种参数高效微调方法的实现，包括 LoRA、Prefix Tuning、P-tuning 等。PEFT 库与 Hugging Face transformers 库无缝集成，使得在现有预训练模型上应用高效微调策略变得非常简单。

PEFT 库的核心功能：

统一接口： 为多种 PEFT 方法提供统一的 API，方便用户切换和比较不同方法。
易于集成： 能够轻松地将 PEFT 方法应用于 transformers 库中的任何 AutoModel。
内存优化： 自动处理模型权重冻结、适配器注入等操作，显著减少内存占用。
与 Trainer 集成： 可以与 Hugging Face Trainer 或 trl 库的 SFTTrainer 无缝配合，简化训练流程。
适配器管理： 方便地保存和加载训练好的适配器。

PEFT 库的关键类：

LoraConfig: 用于定义 LoRA 适配器的配置，包括秩 r、缩放因子 lora_alpha、dropout lora_dropout 以及要应用 LoRA 的模块 target_modules 等。
get_peft_model: 一个实用函数，接收一个 transformers 模型和一个 PeftConfig 对象（如 LoraConfig），返回一个已经注入 PEFT 适配器的模型。
PeftModel: PEFT 库包装后的模型对象，它会自动处理适配器的前向传播和训练。

8.4 数据集准备 (Alpaca 格式)

为了进行指令微调（Instruction Tuning），我们需要将数据组织成模型能够理解的指令-响应对格式。Alpaca 数据集格式是一种广泛采用的标准，它通常包含 instruction、input 和 output 三个字段。

Alpaca 格式示例：

[
  {
    "instruction": "请问中国的首都是哪里？",
    "input": "",
    "output": "中国的首都是北京。"
  },
  {
    "instruction": "写一首关于秋天的五言绝句。",
    "input": "",
    "output": "秋风吹落叶，寒露凝霜华。雁过长空远，枫林染晚霞。"
  },
  {
    "instruction": "根据以下信息，生成一份产品描述：产品名称：Gemma LLM，特点：开源、高性能、多模态、Google DeepMind。",
    "input": "",
    "output": "Gemma LLM 是由 Google DeepMind 推出的一系列开源高性能大语言模型，它基于 Gemini 技术，不仅支持文本处理，还具备多模态能力，为开发者和研究者提供了强大的AI基石。"
  }
]

字段说明：

instruction: 用户的指令或问题。
input: 额外上下文信息，用于辅助模型理解指令。如果指令本身包含了所有必要信息，此字段可以为空字符串。
output: 模型期望生成的响应。

数据预处理：

在训练前，我们需要将这些结构化的数据转换为模型可以处理的文本格式。常见的做法是将其拼接成一个对话模板，例如：

### Instruction:
{instruction}

### Input:
{input}

### Response:
{output}

如果 input 为空，可以省略 ### Input: 部分。最终，模型会学习从 ### Instruction: 到 ### Response: 的映射关系。

8.5 超参数选择

LoRA 微调的超参数选择对性能和效率至关重要。以下是一些关键的超参数及其作用：

| 超参数名称 | 类型 | 描述