# 社区教程

社区教程由 Hugging Face 社区的活跃成员制作，他们希望与他人分享自己的知识和专长。这些教程是了解该库及其功能、并着手使用核心类和模态的绝佳途径。

## 语言模型

### 教程

| 任务 | 类 | 描述 | 作者 | 教程 | Colab |
| --- | --- | --- | --- | --- | --- |
| 强化学习 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | 在 TRL 中使用 GRPO 和 vLLM 进行高效在线训练 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/grpo_vllm_online_training) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/grpo_vllm_online_training.ipynb) |
| 强化学习 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | 在 TRL 中使用 GRPO 对 LLM 进行推理后训练 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_llm_grpo_trl) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_llm_grpo_trl.ipynb) |
| 强化学习 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | Mini-R1：复现 Deepseek R1 的“顿悟时刻”——一个 RL 教程 | [Philipp Schmid](https://huggingface.co/philschmid) | [链接](https://www.philschmid.de/mini-deepseek-r1) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/philschmid/deep-learning-pytorch-huggingface/blob/main/training/mini-deepseek-r1-aha-grpo.ipynb) |
| 强化学习 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | 使用 GRPO 和 Unsloth 优化在 LLaMA 3.1-8B 上进行 RL | [Andrea Manzoni](https://huggingface.co/AManzoni) | [链接](https://colab.research.google.com/github/amanzoni1/fine_tuning/blob/main/RL_LLama3_1_8B_GRPO.ipynb) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/amanzoni1/fine_tuning/blob/main/RL_LLama3_1_8B_GRPO.ipynb) |
| 指令微调 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 使用 QLoRA 以 ChatML 格式微调 Google Gemma 大语言模型 | [Philipp Schmid](https://huggingface.co/philschmid) | [链接](https://www.philschmid.de/fine-tune-google-gemma) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/philschmid/deep-learning-pytorch-huggingface/blob/main/training/gemma-lora-example.ipynb) |
| 结构化生成 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 使用 QLoRA 和 PEFT 对 Llama-2-7B 进行微调，以生成 JSON 格式的波斯语产品目录 | [Mohammadreza Esmaeilian](https://huggingface.co/Mohammadreza) | [链接](https://huggingface.co/learn/cookbook/en/fine_tuning_llm_to_generate_persian_product_catalogs_in_json_format) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_llm_to_generate_persian_product_catalogs_in_json_format.ipynb) |
| 偏好优化 | [DPOTrainer](/docs/trl/main/zh/dpo_trainer#trl.DPOTrainer) | 使用直接偏好优化（Direct Preference Optimization）对 Mistral-7b 进行对齐，以实现人类偏好对齐 | [Maxime Labonne](https://huggingface.co/mlabonne) | [链接](https://mlabonne.github.io/blog/posts/Fine_tune_Mistral_7b_with_DPO.html) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/mlabonne/llm-course/blob/main/Fine_tune_a_Mistral_7b_model_with_DPO.ipynb) |
| 偏好优化 | [experimental.orpo.ORPOTrainer](/docs/trl/main/zh/orpo_trainer#trl.experimental.orpo.ORPOTrainer) | 使用 ORPO 微调 Llama 3，结合指令调优和偏好对齐 | [Maxime Labonne](https://huggingface.co/mlabonne) | [链接](https://mlabonne.github.io/blog/posts/2024-04-19_Fine_tune_Llama_3_with_ORPO.html) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi) |
| 指令微调 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 如何在 2025 年使用 Hugging Face 微调开源 LLM | [Philipp Schmid](https://huggingface.co/philschmid) | [链接](https://www.philschmid.de/fine-tune-llms-in-2025) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/philschmid/deep-learning-pytorch-huggingface/blob/main/training/fine-tune-llms-in-2025.ipynb) |
| 逐步推理 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | 使用 vLLM 进行逐步推理的有监督强化学习（SRL） | [Deepak Swaminathan](https://huggingface.co/s23deepak) | [链接](https://github.com/s23deepak/Supervised-Reinforcement-Learning) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/s23deepak/Supervised-Reinforcement-Learning/blob/main/notebooks/srl_grpo_tutorial.ipynb) |

### 视频

| 任务 | 标题 | 作者 | 视频 |
| --- | --- | --- | --- |
| 指令微调 | 使用 Hugging Face TRL 微调开放 AI 模型 | [Wietse Venema](https://huggingface.co/wietsevenema) | [](https://youtu.be/cnGyyM0vOes) |
| 指令微调 | 如何使用 Hugging Face、TRL 和 smoltalk 数据集微调 smol-LM | [Mayurji](https://huggingface.co/iammayur) | [](https://youtu.be/jKdXv3BiLu0) |

⚠️ “如何使用 Hugging Face、TRL 和 smoltalk 数据集微调 smol-LM”的已弃用功能通知（点击展开）

> [!WARNING]
> 该教程使用了两个已弃用的功能：
>
> - `SFTTrainer(..., tokenizer=tokenizer)`：请改用 `SFTTrainer(..., processing_class=tokenizer)`，或直接省略该参数（它将从模型中推断得出）。 - `setup_chat_format(model, tokenizer)`：请改用 `SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B")`，其中 `chat_template_path` 指定了要复制其聊天模板的模型。

## 视觉语言模型

### 教程

| 任务 | 类 | 描述 | 作者 | 教程 | Colab |
| --- | --- | --- | --- | --- | --- |
| 视觉问答 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 在 ChartQA 数据集上微调 Qwen2-VL-7B 以进行视觉问答 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_vlm_trl) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_vlm_trl.ipynb) |
| 视觉问答 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 在消费级 GPU 上使用 TRL 微调 SmolVLM | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_smol_vlm_sft_trl) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_smol_vlm_sft_trl.ipynb) |
| SEO 描述 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 微调 Qwen2-VL-7B 以从图像生成对 SEO 友好的描述 | [Philipp Schmid](https://huggingface.co/philschmid) | [链接](https://www.philschmid.de/fine-tune-multimodal-llms-with-trl) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/philschmid/deep-learning-pytorch-huggingface/blob/main/training/fine-tune-multimodal-llms-with-trl.ipynb) |
| 视觉问答 | [DPOTrainer](/docs/trl/main/zh/dpo_trainer#trl.DPOTrainer) | PaliGemma 🤝 直接偏好优化 | [Merve Noyan](https://huggingface.co/merve) | [链接](https://github.com/merveenoyan/smol-vision/blob/main/PaliGemma_DPO.ipynb) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/merveenoyan/smol-vision/blob/main/PaliGemma_DPO.ipynb) |
| 视觉问答 | [DPOTrainer](/docs/trl/main/zh/dpo_trainer#trl.DPOTrainer) | 使用 TRL 在消费级 GPU 上通过直接偏好优化（DPO）对 SmolVLM 进行微调 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_vlm_dpo_smolvlm_instruct) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_vlm_dpo_smolvlm_instruct.ipynb) |
| 目标检测定位 | [SFTTrainer](/docs/trl/main/zh/sft_trainer#trl.SFTTrainer) | 使用 TRL 对 VLM 进行微调以实现目标检测定位 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_vlm_object_detection_grounding) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_vlm_object_detection_grounding.ipynb) |
| 视觉问答 | [DPOTrainer](/docs/trl/main/zh/dpo_trainer#trl.DPOTrainer) | 使用 TRL 和 MPO 微调视觉语言模型 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_vlm_mpo) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_vlm_mpo.ipynb) |
| 强化学习 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | 使用 TRL 通过 GRPO 对 VLM 进行推理后训练 | [Sergio Paniego](https://huggingface.co/sergiopaniego) | [链接](https://huggingface.co/learn/cookbook/fine_tuning_vlm_grpo_trl) | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/cookbook/blob/main/notebooks/en/fine_tuning_vlm_grpo_trl.ipynb) |

## 语音语言模型

### 教程

| 任务 | 类 | 描述 | 作者 | 教程 |
| --- | --- | --- | --- | --- |
| 文本转语音 | [GRPOTrainer](/docs/trl/main/zh/grpo_trainer#trl.GRPOTrainer) | 使用 TRL 通过 GRPO 对语音语言模型进行后训练 | [Steven Zheng](https://huggingface.co/Steveeeeeeen) | [链接](https://huggingface.co/blog/Steveeeeeeen/llasa-grpo) |

## 贡献

如果您有希望添加到该列表中的教程，请提交一个 PR 来添加。我们会对其进行审核，如果它对社区有价值，就会将其合并。