TRL documentation
Mulai Cepat
Memulai
Panduan Konseptual
Trainers
Panduan cara melakukan
Antarmuka Baris Perintah (CLI)Pelatihan menggunakan JobsMenyesuaikan PelatihanMengurangi Penggunaan MemoriMempercepat PelatihanMendistribusikan PelatihanPelatihan di AWS TrainiumPelatihan pada GPU AMDPelatihan di Atas 1 Juta TokenMenggunakan Model Terlatih
Integrasi
Contoh
API
Eksperimental
Mulai Cepat
TRL adalah pustaka komprehensif untuk pelatihan lanjutan model dasar menggunakan teknik seperti Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), dan Direct Preference Optimization (DPO).
Contoh Cepat
Mulai langsung dengan trainer paling populer dari TRL. Setiap contoh menggunakan model ringkas untuk eksperimen cepat.
Fine-Tuning Berpengawas
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Optimasi Kebijakan Relatif Grup
accuracy_reward memerlukan math-verify, yang dapat Anda instal dengan pip install trl[math_verify].
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
reward_funcs=accuracy_reward,
)
trainer.train()Optimasi Preferensi Langsung
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Pemodelan Reward
from trl import RewardTrainer
from datasets import load_dataset
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Antarmuka Baris Perintah
Lewati kode sepenuhnya - latih langsung dari terminal Anda:
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
--dataset_name trl-lib/Capybara
# DPO: Align with preferences
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarized
# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarizedLangkah Selanjutnya?
📚 Pelajari Lebih Lanjut
- Trainer SFT - Panduan SFT lengkap
- DPO Trainer - Penyelarasan preferensi
- GRPO Trainer - Optimasi kebijakan relatif grup
🚀 Tingkatkan Skala
- Pelatihan Terdistribusi - Konfigurasi Multi-GPU
- Optimasi Memori - Pelatihan yang efisien
- Integrasi PEFT - LoRA dan QLoRA
💡 Contoh
- Skrip Contoh - Kode siap produksi
- Tutorial Komunitas - Panduan eksternal
Pemecahan Masalah
Kelebihan Memori?
Kurangi ukuran batch dan aktifkan optimasi:
SFT
DPO
GRPO
training_args = SFTConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = DPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = GRPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
num_generations=4, # Reduce from default 8 (GRPO generates num_generations completions per prompt)
max_completion_length=512, # Tune based on task; longer sequences cost more memory
)Loss tidak menurun?
Coba sesuaikan learning rate:
training_args = SFTConfig(learning_rate=2e-5) # Good starting pointUntuk bantuan lebih lanjut, buka issue di GitHub.
Update on GitHub