TRL documentation

Örnekler

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Örnekler

examples/ dizini, TRL kütüphanesinin çeşitli uygulamalarda nasıl kullanılacağını gösteren, kendi içinde tamamlanmış örneklerin bir koleksiyonunu içerir. Her örnek, gösterdiği yöntem ve görevle adlandırılmış kendi klasöründe bulunur (ör. grpo_wordle, sft_gpt_oss_chess) ve örneğin ihtiyaç duyduğu her şeyi barındırır: betikler, defterler, istemler, sohbet şablonları ve değerlendirme kodu.

Temel tek-eğitmen eğitim betikleri örnekler değildir; trl/scripts içinde yer alır ve komut satırı arayüzü (trl sft, trl dpo, trl grpo, …) üzerinden sunulur. Her eğitmenin dokümantasyon sayfası ayrıca tam olarak çalıştırılabilir bir kod parçası içerir.

Ortak kaynaklar examples/ kökünde yer alır:

  • examples/deepspeed_configs: --deepspeed ile geçirilen, birçok örnekte kullanılan DeepSpeed ZeRO yapılandırma dosyaları.
  • examples/fsdp_configs: FSDP yapılandırma dosyaları, --fsdp --fsdp_config ile geçirilir (komut satırında yalnızca --fsdp kullanmak için transformers 5.10 veya daha yeni bir sürüm gereklidir; eski sürümlerde eğitim yapılandırmasında fsdp=True olarak ayarlayın).
  • examples/datasets: örneklerde kullanılan trl-lib veri setlerini oluşturmak için kullanılan betikler.

Yeniden Başlamak

TRL ve ek bağımlılıkları aşağıdaki gibi yükleyin:

pip install --upgrade trl[quantization]

Ek isteğe bağlı bağımlılıkları burada kontrol edin. Notebook tabanlı örnekler kendi kendine yeterlidir ve ücretsiz Colab üzerinde çalıştırılabilir; betik tabanlı örnekler ise tek GPU, çoklu GPU veya DeepSpeed kurulumlarında çalışır (aşağıdaki Distributed Training bölümüne bakın).

İçindekiler

ÖrnekAçıklamaColab'da Aç
async_distillation_mathGSM8K üzerinde experimental.async_distillation.AsyncDistillationTrainer ile asenkron on-policy distillation: öğretmen, vLLM üzerinden HTTP ile sunulur.
async_distillation_mopdexperimental.async_distillation.AsyncDistillationTrainer ile çoklu öğretmenli on-policy distillation (MOPD): Open-MOPD'nin matematik, kod ve talimat takibi uzmanlarını SFT checkpoint'lerine birleştirir: 60 adımda AIME24'te 17,5'ten 24,2'ye ve IFEval'de 67,5'ten 73,0'a yükselme (script, Hugging Face Jobs launcher ve sonuçlarla README).
async_grpo_harborOpenEnv üzerinden sunulan herhangi bir yüklü kodlama ajanı (mini-swe-agent, opencode, claude-code, …) ile Harbor görev setinde AsyncGRPO eğitimi: ajan, kum havuzunda kendi döngüsüne sahipken TRL, yakalama vekili tarafından kaydedilen token kimlikleri ve logprobs üzerinde eğitim yapar.
async_grpo_mathGSM8K üzerinde AsyncGRPOTrainer ile asenkron GRPO, üretimi (vLLM sunucusu) eğitimden ayırır ve yalnızca adaptörü vLLM sunucusuna senkronize eden bir LoRA varyantını içerir.
dpo_reduce_hallucinationsopenbmb/RLAIF-V-Dataset veri setini kullanarak bir Görüntü Dil Modelinin DPO ile ince ayarını yapıp halüsinasyonları azaltma.
gold_chatbot_arenaQwen2 öğretmeninden Llama 3.2 öğrencisine experimental.gold.GOLDTrainer ile chatbot_arena_completions üzerinde çapraz tokenleştirici (cross-tokenizer) General Online Logit Distillation (GOLD), tam eğitim ve LoRA varyantlarıyla.
gold_qwen3_vlQwen3-VL-8B'nin experimental.gold.GOLDTrainer ile daha küçük VLM öğrencilerine Genel Çevrimiçi Logit Distilleme (GOLD) yöntemiyle aktarımı; aynı aileden (JSD kaybı) ve farklı aileden (ULD kaybı) distillemeyi kapsar.
grpo_2048Bir modelin 2048 oyununu oynamasını öğretmek için araç çağrısı ile GRPO.
grpo_browsergymLLM ve VLM varyantlarıyla, BrowserGym OpenEnv ortamında GRPO.
grpo_carlaCARLA otonom sürüş OpenEnv ortamı ile GRPO, LLM ve VLM varyantları (çok modlu kamera görüntüsü araç yanıtları).
grpo_catchGRPO, OpenEnv ortamı ile (OpenSpiel).
grpo_continuous_batchingDeğişken tamamlama uzunluklarına sahip büyük partilerde daha hızlı üretim için transformers'ın sürekli toplama (continuous batching) motoruyla GRPO.
grpo_echoEcho OpenEnv ortamında minimal GRPO eğitimi.
grpo_harborTakılabilir bir temel ajan (bash / jupyter / terminal_notes iskeletleri) ile Harbor görev setine karşı GRPO eğitimi. Harbor Entegrasyonu kılavuzuna bakın.
grpo_ministral3_vlÜcretsiz Colab'da QLoRA ile GRPO Ministral 3.Open In Colab
grpo_multi_envÇoklu ortam GRPO eğitimi: Wordle + Catch OpenEnv ortamlarını aynı eğitim çalışmasında kullanın.
grpo_qloraÜcretsiz Colab'da QLoRA ile GRPO.Open In Colab
grpo_qwen3_vlÜcretsiz Colab'da QLoRA ile GRPO Qwen3-VL.Open In Colab
grpo_rnj_1_instructrnj-1-instruct üzerinde Colab'da QLoRA ile GRPO çalıştırarak akıl yürütme yetenekleri eklemek.Open In Colab
grpo_setaAçık kaynaklı openreward.ai kataloğundaki SETA ORS ortamına karşı GRPO eğitimi. OpenReward Entegrasyonu kılavuzuna bakın.
grpo_sql_agentBir SQL veritabanını sorgulayarak soruları yanıtlayan bir ajan eğitmek için GRPO (betik ve defter; OOM nedeniyle ücretsiz Colab'da çalıştırılamaz).
grpo_sudokuBir OpenEnv ortamında, SFT modelinden başlayarak Sudoku (TextArena) oynamak için GRPO: 26 boş hücrede temel, SFT ve SFT + GRPO modelleri sırasıyla 30 bulmacanın 0, 10 ve 22'sini çözdü (sonuçlarla birlikte script, notebook ve README).Open In Colab
grpo_visual_mathlmms-lab/multimodal-open-r1-8k-verified veri setini kullanarak akıl yürütme için çok modlu bir modelin GRPO ile ince ayarı.
grpo_wordleBir OpenEnv ortamında Wordle (TextArena) oynamak için GRPO (betik ve defter).Open In Colab
gspo_mathAI-MO/NuminaMath-TIR veri setinde matematiksel akıl yürütme için GRPOTrainer ile GSPO.
gspo_visual_mathGSPO, GRPOTrainer ile lmms-lab/multimodal-open-r1-8k-verified veri setini kullanarak akıl yürütme için çok modlu bir modelin ince ayarını yapmak.
lfm2_5_moe_research_agentLiquidAI/LFM2.5-8B-A1B iki adımda: tek bir 8xH100 düğümünde, yüklenme sırasında transformers'ın DistributedConfig ile bölünmüş (token yönlendirmeli uzman paralelliği ve FSDP) olarak SFTTrainer ile xLAM fonksiyon çağrısı üzerinde tam SFT, ardından HotpotQA üzerinde GRPOTrainer ve environment_factory (search / read araçları, tam eşleşme ödülü) ile çok turlu bir araştırma ajanının GRPO'su.
mpo_visual_preferencesDPOTrainer ile MPO, HuggingFaceH4/rlaif-v_formatted veri setini ve bir dizi kayıp ağırlığını kullanarak çok modlu bir modeli tercihler temelinde hizalamak için kullanılır.
online_dpo_visual_mathBir Görsel Dil Modelinin experimental.online_dpo.OnlineDPOTrainer ile çevrimiçi DPO ince ayarı.
rloo_mathvLLM ile AI-MO/NuminaMath-TIR veri setinde matematiksel akıl yürütme için RLOOTrainer ile RLOO.
rloo_visual_mathlmms-lab/multimodal-open-r1-8k-verified veri setini kullanarak akıl yürütme için çok modlu bir modelin RLOO ile ince ayarı.
sdft_privileged_contextexperimental.sdft.SDFTTrainer ile öz-distilasyon ince ayarı, ayrıcalıklı (sadece öğretmen) bağlamı modele damıtma.
sdpo_mathDoğrulanabilir matematik ödülleri ve openai/gsm8k üzerinde isteğe bağlı ortam geri bildirimi kullanarak experimental.sdpo.SDPOTrainer ile SDPO.
sft_agent_tracesQwen3.5-2B'nin ajan izleri üzerinde SFT'si: Qwen3.5-397B-A17B, Hugging Face Sandboxes içinde bir OpenCode ajanı olarak veri analizi Harbor görevlerini çözer; süreç OpenEnv tarafından kaydedilir ve öğrenci model, yalnızca asistan kayıplarıyla (assistant-only loss) çözülmüş konuşmalar üzerinde eğitilir. Verilerine hiçbir izin dokunmadığı görevlerde, yaklaşık 500 iz, performansı %7,6'dan %33,3'e çıkarır (rollout, veri seti ve eğitim betikleri ile sonuçları içeren README).
sft_beamSFTTrainer ile tek bir 8xB300 düğümünde reflection/Beam-1.0-501B-A23B modeli için LoRA SFT, yüklenme sırasında transformers'ın DistributedConfig ile parçalanmış (token dağıtımı ile uzman paralelliği).
sft_diffusion_gemmaSFTTrainer'ı blok-difüzyon hedefiyle genişleterek DiffusionGemma blok-difüzyon dil modelinin GSM8K üzerinde SFT'si.
sft_gemma3Codeforces COTS veri setinde Gemma 3'ün SFT'si.
sft_gemma3_visionGemma 3'ün görüden metne görevlerinde SFT'si.
sft_gpt_oss_chessopenai/gpt-oss-20b modelinin satranç bulmacaları üzerinde SFTTrainer ile tam ince ayarı: TRL, MXFP4 uzmanlarını dekuantize edilmiş olarak yükler ve ince ayarı yapılan uzmanlar, orijinal gibi sunulmak üzere tekrar MXFP4'e kuantize edilir.
sft_ministral3_vlÜcretsiz Colab üzerinde QLoRA ile SFT Ministral 3.Open In Colab
sft_mistral_large_48xB300 düğümünde, FP8 ağırlıklarının üzerine, yüklenme sırasında transformers'ın DistributedConfig ile parçalanan (token yönlendirmeli uzman paralelliği) SFTTrainer ile mistralai/Mistral-Large-4-1T-A52B'nin LoRA SFT'si.
sft_nemotron_3NVIDIA Nemotron 3 modellerinin SFT'si (betik ve LoRA defter).Open In Colab
sft_qloraÜcretsiz Colab'da QLoRA ile SFT.Open In Colab
sft_qwen3_8b_1m_context8xH100'lu tek bir düğümde, bağlam paralelliği ile 1.048.576 jetonluk diziler üzerinde Qwen3-8B'nin SFT'si.
sft_qwen3_vlÜcretsiz Colab'da QLoRA ile SFT Qwen3-VL.Open In Colab
tail_sft_gsm8kBaşlangıç politikası kaybı filtreleme ile SFTTrainer'ı genişleterek GSM8K üzerinde TailSFT.
sft_muse_spark_openmeta-models/Muse-Spark-Open-816B-A42B modelinin 8 düğüm üzerinde SFTTrainer ile LoRA SFT'si, yüklenme sırasında transformers'ın DistributedConfig ile parçalanır (token dağıtımı ile uzman paralelliği).
sft_tool_callingQLoRA ile SFT kullanarak yerleşik araç çağırma desteği olmayan bir modele araç çağırma öğretme (betik, sohbet şablonu ve defter).Open In Colab
sft_visual_chatBir sohbet ortamında Görsel Dil Modelinin SFT'si. Yalnızca LLaVA 1.5, LLaVA 1.6 ve Llama-3.2-11B-Vision-Instruct ile test edildi; kullanıcılar diğer model mimarilerinde beklenmedik davranışlarla karşılaşabilir.
xtokenexperimental.gold.GOLDTrainer ile X-Token off-policy cross-tokenizer bilgi damıtması, projeksiyon matrisi hazırlığı dahil.

Dağıtık Eğitim

Örnek betikleri, torchrun ile birden çok GPU üzerinde çalıştırabilirsiniz:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_script

DeepSpeed ZeRO-{1,2,3} için:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_script

Gerektiği gibi NUM_GPUS ve --all_arguments_of_the_script değerlerini ayarlayın.

Update on GitHub