社区教程

社区教程由 Hugging Face 社区的活跃成员制作，他们希望与他人分享自己的知识和专长。这些教程是了解该库及其功能、并着手使用核心类和模态的绝佳途径。

语言模型

教程

任务	类	描述	作者	教程
强化学习	GRPOTrainer	在 TRL 中使用 GRPO 和 vLLM 进行高效在线训练	Sergio Paniego	链接
强化学习	GRPOTrainer	在 TRL 中使用 GRPO 对 LLM 进行推理后训练	Sergio Paniego	链接
强化学习	GRPOTrainer	Mini-R1：复现 Deepseek R1 的“顿悟时刻”——一个 RL 教程	Philipp Schmid	链接
强化学习	GRPOTrainer	使用 GRPO 和 Unsloth 优化在 LLaMA 3.1-8B 上进行 RL	Andrea Manzoni	链接
指令微调	SFTTrainer	使用 QLoRA 以 ChatML 格式微调 Google Gemma 大语言模型	Philipp Schmid	链接
结构化生成	SFTTrainer	使用 QLoRA 和 PEFT 对 Llama-2-7B 进行微调，以生成 JSON 格式的波斯语产品目录	Mohammadreza Esmaeilian	链接
偏好优化	DPOTrainer	使用直接偏好优化（Direct Preference Optimization）对 Mistral-7b 进行对齐，以实现人类偏好对齐	Maxime Labonne	链接
偏好优化	experimental.orpo.ORPOTrainer	使用 ORPO 微调 Llama 3，结合指令调优和偏好对齐	Maxime Labonne	链接
指令微调	SFTTrainer	如何在 2025 年使用 Hugging Face 微调开源 LLM	Philipp Schmid	链接
逐步推理	GRPOTrainer	使用 vLLM 进行逐步推理的有监督强化学习（SRL）	Deepak Swaminathan	链接

视频

任务	标题	作者	视频
指令微调	使用 Hugging Face TRL 微调开放 AI 模型	Wietse Venema
指令微调	如何使用 Hugging Face、TRL 和 smoltalk 数据集微调 smol-LM	Mayurji

⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)

该教程使用了两个已弃用的功能：

SFTTrainer(..., tokenizer=tokenizer)：请改用 SFTTrainer(..., processing_class=tokenizer)，或者直接省略该参数（它将从模型中推断得出）。

setup_chat_format(model, tokenizer)：使用 SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B")，其中 chat_template_path 指定要复制其聊天模板的模型。

视觉语言模型

教程

任务	类	描述	作者	教程
视觉问答	SFTTrainer	在 ChartQA 数据集上微调 Qwen2-VL-7B 以进行视觉问答	Sergio Paniego	链接
视觉问答	SFTTrainer	在消费级 GPU 上使用 TRL 微调 SmolVLM	Sergio Paniego	链接
SEO 描述	SFTTrainer	微调 Qwen2-VL-7B 以从图像生成对 SEO 友好的描述	Philipp Schmid	链接
视觉问答	DPOTrainer	PaliGemma 🤝 直接偏好优化	Merve Noyan	链接
视觉问答	DPOTrainer	使用 TRL 在消费级 GPU 上通过直接偏好优化（DPO）对 SmolVLM 进行微调	Sergio Paniego	链接
目标检测定位	SFTTrainer	使用 TRL 对 VLM 进行微调以实现目标检测定位	Sergio Paniego	链接
视觉问答	DPOTrainer	使用 TRL 和 MPO 微调视觉语言模型	Sergio Paniego	链接
强化学习	GRPOTrainer	使用 TRL 通过 GRPO 对 VLM 进行推理后训练	Sergio Paniego	链接

语音语言模型

教程

任务	类	描述	作者	教程
文本转语音	GRPOTrainer	使用 TRL 通过 GRPO 对语音语言模型进行后训练	Steven Zheng	链接

贡献

如果您有希望添加到该列表中的教程，请提交一个 PR 来添加。我们会对其进行审核，如果它对社区有价值，就会将其合并。

Update on GitHub