TRL documentation
训练后使用模型
入门指南
概念指南
Trainers
操作指南
命令行界面(CLI)使用 Jobs 进行训练自定义训练减少内存使用加速训练分布式训练在 AWS Trainium 上进行训练在 AMD GPU 上进行训练训练超过 100 万个 Token使用训练好的模型
集成
示例
API
实验性
训练后使用模型
使用 SFTTrainer 或 DPOTrainer 训练模型后,你将获得一个可用于文本生成的微调模型。本节将介绍加载微调模型并生成文本的流程。如果你需要使用训练好的模型运行推理服务器,可以探索 text-generation-inference 等库。
加载和生成
如果您已对模型进行了完全微调,即未使用 PEFT,则可以像加载 transformers 中的任何其他语言模型一样直接加载它:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name_or_path = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
device = torch.accelerator.current_accelerator() if torch.accelerator.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(model_name_or_path).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
inputs = tokenizer.encode("This movie was really", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))或者,您也可以使用 pipeline:
from transformers import pipeline
model_name_or_path = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
pipe = pipeline("text-generation", model=model_name_or_path)
print(pipe("This movie was really")[0]["generated_text"])使用 Adapters PEFT
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_model_name = "Qwen/Qwen3-0.6B" #path/to/your/model/or/name/on/hub
adapter_model_name = "path/to/my/adapter"
model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)
tokenizer = AutoTokenizer.from_pretrained(base_model_name)您还可以将适配器合并到基础模型中,从而像使用普通的 Transformers 模型一样使用该模型,但检查点文件会显著增大:
model = AutoModelForCausalLM.from_pretrained(base_model_name)
model = PeftModel.from_pretrained(model, adapter_model_name)
model = model.merge_and_unload()
model.save_pretrained("merged_adapters")加载模型后,无论您是将适配器合并还是将其单独保留在模型之上,都可以按照上文所述,像运行普通模型一样执行生成。
Update on GitHub