TRL documentation

Mulai Cepat

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mulai Cepat

TRL adalah pustaka komprehensif untuk pelatihan lanjutan model dasar menggunakan teknik seperti Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), dan Direct Preference Optimization (DPO).

Contoh Cepat

Mulai langsung dengan trainer paling populer dari TRL. Setiap contoh menggunakan model ringkas untuk eksperimen cepat.

Fine-Tuning Berpengawas

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Optimasi Kebijakan Relatif Grup

accuracy_reward memerlukan math-verify, yang dapat Anda instal dengan pip install trl[math_verify].

from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
    reward_funcs=accuracy_reward,
)
trainer.train()

Optimasi Preferensi Langsung

from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

Pemodelan Reward

from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Antarmuka Baris Perintah

Lewati kode sepenuhnya - latih langsung dari terminal Anda:

# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara

# DPO: Align with preferences  
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

Langkah Selanjutnya?

📚 Pelajari Lebih Lanjut

🚀 Tingkatkan Skala

💡 Contoh

Pemecahan Masalah

Kelebihan Memori?

Kurangi ukuran batch dan aktifkan optimasi:

SFT
DPO
GRPO
training_args = SFTConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)

Loss tidak menurun?

Coba sesuaikan learning rate:

training_args = SFTConfig(learning_rate=2e-5)  # Good starting point

Untuk bantuan lebih lanjut, buka issue di GitHub.

Update on GitHub