TRL documentation
Makale Dizini
Makale Dizini
Aşağıdaki her makale, Hugging Face makale sayfasına bağlantı verir. Bunlardan herhangi birini
hfCLI ile terminalden de okuyabilirsiniz, örneğinhf papers read 2402.03300— özellikle kodlama ajanları için oldukça kullanışlıdır.
Grup Göreceli Politika Optimizasyonu
GRPOTrainer ile ilgili makaleler.
DeepSeekMath: Açık Dil Modellerinde Matematiksel Muhakemenin Sınırlarını Zorlamak
📜 Makale: https://huggingface.co/papers/2402.03300
Group Relative Policy Optimization (GRPO) yöntemini tanıtır ve matematik odaklı ön eğitim ile grup-göreli PPO tarzı optimizasyonun matematiksel akıl yürütmede güçlü kazanımlar sağladığını gösterir. TRL'de GRPOTrainer üzerinden kullanılır.
from trl import GRPOConfig, GRPOTrainer
# The paper doesn't specify its hyperparameters, so here we provide hyperparameters from "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning" instead.
training_args = GRPOConfig(
loss_type="grpo",
beta=0.001, # "the KL coefficient to 0.001"
epsilon=10.0, # "the GRPO clip ratio ϵ to 10"
num_generations=16, # "For each question, we sample 16 outputs..."
max_completion_length=32_768, # "...with a maximum length of 32,768"
steps_per_generation=16, # "To accelerate training, each rollout generates 8,192 outputs, which are randomly split into 16 minibatches"
# "resulting in a training batch size of 512". One way to achieve this setting with 1 device is per_device_train_batch_size=4, gradient_accumulation_steps=128
per_device_train_batch_size=4,
gradient_accumulation_steps=128,
)
trainer = GRPOTrainer(
...,
args=training_args,
)DeepSeek-R1: LLM'lerde Pekiştirmeli Öğrenme ile Muhakeme Yeteneğini Teşvik Etme
📜 Makale: https://huggingface.co/papers/2501.12948
DeepSeek-R1, safhalı bir boru hattı aracılığıyla saf pekiştirmeli öğrenme (RL) ile cilalanmış, insanla hizalanmış bir modele geçiş yaparak OpenAI-o1 ile karşılaştırılabilir akıl yürütme performansı elde eder. Temel bir model üzerinde saf RL kullanan öncülü DeepSeek-R1-Zero'dan farklı olarak R1, yapılandırılmış dört aşamalı bir evrim izler:
- Soğuk Başlatma: Temel model, kararlı bir başlangıç noktası sağlamak için küçük bir yüksek kaliteli, uzun Zincir-Düşünce (CoT) veri setinde ince ayarlanır.
- Mantığa Yönelik RL: Matematik, kodlama ve mantık alanlarındaki performansı artırmak için büyük ölçekli RL uygulanır; dil karışmasını azaltmak için kural tabanlı ödüller ve bir dil tutarlılığı ödülü kullanılır.
- Reddetme Örnekleme & SFT: RL kontrol noktası, reddetme örnekleme yoluyla 600k akıl yürütme örneği üretir; bu örnekler, ikinci bir Denetimli İnce Ayar (SFT) turu için yeni bir veri seti oluşturmak üzere 200k akıl yürütmeyen (genel) örnek ile birleştirilir.
- Tüm Senaryolar için RL: Son RL aşaması, modelin tüm alanlarda insan tercihleriyle (yardımcılık ve zararsızlık) hizalanmasını sağlarken akıl yürütme gücünü korur.
Damıtma: Küçük Modelleri Güçlendirme
Makalenin temel katkılarından biri, akıl yürütme kalıplarının büyük bir modelden (DeepSeek-R1) daha küçük yoğun modellere (ör. Qwen ve Llama serileri) damıtılabileceğini göstermesidir. Küçük modeller için sıfırdan saf RL ile eğitim yapmak yerine damıtma yönteminin daha etkili olduğu bulunmuştur.
Bu hattın akıl yürütme ağırlıklı aşamalarını yeniden oluşturmak için GRPOTrainer kullanabilirsiniz.
from trl import GRPOConfig, GRPOTrainer
# Example configuration for a reasoning-oriented GRPO stage
# Based on the Open-R1 recipe for Qwen-7B
training_args = GRPOConfig(
learning_rate=4.0e-5,
max_completion_length=32768, # Support for long Chain-of-Thought
num_generations=16, # Sample 16 outputs per prompt for group relative advantage
beta=0.001, # KL coefficient
use_vllm=True, # Use vLLM backend for accelerated rollout generation
)
trainer = GRPOTrainer(
model=model,
args=training_args,
train_dataset=dataset,
reward_funcs=[accuracy_reward, format_reward], # R1-Zero used rule-based rewards
)
trainer.train()Grup Sıralama Politikası Optimizasyonu
📜 Makale: https://huggingface.co/papers/2507.18071
GSPO, önem örneklemesi ağırlıklarını token başına değil de dizin seviyesinde hesaplayan bir GRPO varyantıdır. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import GRPOConfig
training_args = GRPOConfig(
importance_sampling_level="sequence",
loss_type="grpo",
beta=0.0, # GSPO set KL regularization to zero: https://github.com/volcengine/verl/pull/2775#issuecomment-3131807306
epsilon=3e-4, # GSPO paper (v2), section 5.1
epsilon_high=4e-4, # GSPO paper (v2), section 5.1
gradient_accumulation_steps=1,
steps_per_generation=4, # partition rollout batch into 4 mini-batches. GSPO paper (v2), section 5.1. Must be 4 times gradient_accumulation_steps
)Bu yöntemin yalnızca eğitim hafifçe off-policy gittiğinde bir etkisi olduğunu unutmayın; örneğin steps_per_generation > gradient_accumulation_steps veya num_iterations > 1 olduğunda. Aksi takdirde, bu yöntem fiilen hiçbir değişiklik yapmamaya eşdeğerdir.
TRL, v1.13'e kadar deneysel bir GSPO-token uygulaması yayınlamıştır; bu uygulama artık kütüphanenin bir parçası değildir ve yalnızca git geçmişinde mevcuttur. Yukarıdaki dizin düzeyindeki amaçtan, avantaj , değiştiğinde farklılık gösterirdi; TRL şu anda bunu üretmemektedir.
Politika oranı: GRPO vs. GSPO
GSPO'da politika oranı, dizin düzeyinde tanımlanır. Başka bir deyişle, mevcut politikanın bir diziyi üretme olasılığının, eski politikanın aynı diziyi üretme olasılığına oranıdır.
Dizi olasılığı şu şekilde tanımlanır:
burada politika parametreleri , olan -çıktı dizisi ve olan -bu dizideki token'dır, girdi sorgusudur. Dizi olasılık oranı şu şekilde tanımlanır:
Üs diziyi uzunluğa göre normalize eder ve dizilim olasılığında dizinin uzunluğunun etkisini en aza indirir. Başka bir deyişle, token olasılıklarının geometrik ortalamasını hesaplayarak farklı uzunluklardaki diziler arasında adil bir karşılaştırma sağlar.
GSPO politika oranını dizin (sequence) düzeyinde tanımlarken, GRPO token düzeyinde çalışır. Özellikle, GRPO dizideki her token için bir önem oranı hesaplar:
Bu token düzeyindeki oran, ardından paylaşılan bir avantajla birleştirilir , ve GRPO hedefi, dizideki her tokenı bağımsız olarak kırpıp optimize eder.
Geometrik-Orta Politika Optimizasyonu
📜 Makale: https://huggingface.co/papers/2507.20673
Geometric-Mean Policy Optimization (GMPO), token düzeyindeki önem oranlarının aritmetik ortalaması yerine geometrik ortalamasını maksimize eden bir GRPO varyantıdır. Geometrik ortalama, uç değer oranlarına çok daha az duyarlı olduğundan politika güncellemesi daha kararlıdır ve çok daha geniş bir kırpma aralığına izin verir. Kırpma, log uzayında ve token başına uygulanır; avantaj işaretine göre tek yönlüdür (standart PPO güven bölgesi) — ve kritik olarak, önce geometrik ortalama alınır. Bu, GMPO'yu, dizin düzeyindeki oranı ortalama sonrası kırpma uygulayan GSPO'dan (importance_sampling_level="sequence") ayıran özelliktir.
GMPO hedefi, GRPO'nun token başına aritmetik ortalamasını, (kırpılmış) token oranlarının geometrik ortalamasıyla değiştirir:
burada token başına önem oranıdır. Uygulamada sayısal kararlılık için çarpım ve kırpma işlemi log uzayında hesaplanır ve kırpma aralığı keşif teşvik etmek amacıyla GRPO/DAPO'dan belirgin şekilde daha geniştir.
TRL deneysel bir uygulama sağlar, bkz. Deneysel - GMPO:
from trl.experimental.gmpo import GMPOConfig, GMPOTrainer
training_args = GMPOConfig(
epsilon=0.4, # log-space clip range -> ratios clipped to (exp(-0.4), exp(0.4)); paper, Sec. 4
beta=0.0,
)DAPO: Ölçekli Açık Kaynaklı LLM Pekiştirmeli Öğrenme Sistemi
📜 Makale: https://huggingface.co/papers/2503.14476
DAPO algoritması 5 ana bileşeni içerir:
- Aşırı Uzun Filtreleme
- Clip-Higher
- Yumuşak Aşırı Uzunluk Cezası
- Token-seviyesi Kayıp
- Dinamik Örnekleme (⚠️ TRL'de desteklenmiyor)
Makalenin ayarlarını yeniden oluşturmak için bu yapılandırmayı kullanın:
from trl import GRPOConfig, GRPOTrainer
training_args = GRPOConfig(
# Overlong Filtering
mask_truncated_completions=True,
# Token-level Loss
loss_type="dapo",
# Clip-Higher
epsilon_high=0.28, # DAPO paper: section 4.1
epsilon=0.2, # DAPO paper: section 4.1
# Other parameters used
per_device_train_batch_size=512, # mini-batch size for training in the paper, DAPO paper: section 4.1
num_generations=16, # number of sample responses in the paper, DAPO paper: section 4.1
max_completion_length=20480, # maximum number of tokens for generation in the paper, DAPO paper: section 4.1
beta=0.0, # section 2.3, DAPO paper
)
# Soft Overlong Punishment
sop_reward = get_soft_overlong_punishment(max_completion_len=20480, soft_punish_cache=4096) # DAPO paper: section 4.1
trainer = GRPOTrainer(
...,
args=training_args,
reward_funcs=[..., sop_reward],
)LLM'lerde Uzun Düşünce Zinciri (Long Chain-of-Thought) Muhakemesini Anlama
📜 Makale: https://huggingface.co/papers/2502.03373
Bu makale uzun zincir-düşünce RL'ini incelemekte ve iki tamamlayıcı kural tabanlı ödül sunmaktadır:
- Tamamlama uzunluğuna göre ölçeklenen bir kosinüs uzunluk ölçekli ödül (get_cosine_scaled_reward(), Ek C.1); bu ödül, doğruluk ödülünü tamamlama uzunluğuna göre ölçekler: doğru bir tamamlama daha kısa olduğunda daha fazla ödüllendirilirken, yanlış bir tamamlama daha uzun olduğunda daha az cezalandırılır (keşfi koruyarak).
- Uzunluk şekillendirmesi altında ödül istismarı stratejisi olarak ortaya çıkan dejeneratif, tekrarlayan tamamlamaları caydıran bir n-gram tekrarlama cezası (get_repetition_penalty_reward(), Ek C.2).
İkisi birlikte kullanılacak şekilde tasarlanmıştır:
from trl import GRPOTrainer
from trl.rewards import get_cosine_scaled_reward, get_repetition_penalty_reward
# max_len should match the generation budget (in tokens)
cosine_scaled_reward = get_cosine_scaled_reward(max_len=4096)
# Penalize repeated 3-grams, down to -1.0 for fully repetitive completions
repetition_penalty = get_repetition_penalty_reward(ngram_size=3, max_penalty=-1.0)
trainer = GRPOTrainer(
...,
reward_funcs=[cosine_scaled_reward, repetition_penalty],
)INTELLECT-2: Küresel Dağıtık Pekiştirmeli Öğrenme ile Eğitilen Bir Muhakeme Modeli
📜 Makale: https://huggingface.co/papers/2505.07291
INTELLECT-2, izin gerektirmeyen hesaplama katkıda bulunanlardan oluşan dinamik ve heterojen bir sürü üzerinde tamamen asenkron RL kullanarak 32 milyar parametreli bir dil modelinin küresel olarak dağıtık ilk pekiştirmeli öğrenme eğitim çalışmasıdır. Yazarlar, eğitim kararlılığını artırmak için iki taraflı GRPO kırpma dahil olmak üzere standart GRPO eğitim tarifi üzerinde değişiklikler önermektedir. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import GRPOConfig
training_args = GRPOConfig(
delta=4, # δ in section 4.1 of the paper
epsilon=0.2, # ε in section 4.1 of the paper
beta=0.001, # KL divergence coefficient in section 4.1 of the paper
num_generations=16, # responses per prompt in section 4.1 of the paper
learning_rate=3e-7, # section 4.1 of the paper
)Skywork-OR1: Açık Gerekçelendirme Modelleri
📜 Makale: https://huggingface.co/papers/2505.22312
Skywork-OR1, GRPO ile eğitilmiş açık akıl yürütme modelleri ailesidir. Makale uyarlanabilir entropi kontrolü kavramını tanıtır: GRPO hedefine −α·H(π_θ) entropi düzenleme terimi eklenir ve α katsayısı her optimizasyon adımında otomatik olarak ayarlanır. Modelin token başına ortalama entropisi hedefe eşit veya daha düşük düştüğünde, daha fazla keşif teşvik etmek için α artırılır; aksi halde azaltılır. Bonus yalnızca entropi hedefe eşit veya daha düşükken uygulanır. Bu uyarlanabilir entropi kontrolünü yeniden oluşturmak için aşağıdaki yapılandırmayı kullanın:
from trl import GRPOConfig, GRPOTrainer
training_args = GRPOConfig(
use_adaptive_entropy=True, # enable adaptive entropy control (Section 3.3 of the paper)
entropy_coef=0.01, # initial entropy regularization coefficient
entropy_target=5.0, # target mean per-token entropy (nats); tune for your model
entropy_coef_delta=0.005, # step size for coefficient updates per optimizer step
)
trainer = GRPOTrainer(
...,
args=training_args,
)80/20 Kuralının Ötesinde: Yüksek Entropili Azınlık Jetonları, LLM Gerekçelendirmesi İçin Etkili Pekiştirmeli Öğrenmeyi Sürdürür
📜 Makale: https://huggingface.co/papers/2506.01939
Yüksek entropili tokenların küçük bir azınlığı, CoT yolundaki akıl yürütme “dallanma noktaları” olarak görev yaparak RLVR için keşfi ve performans kazanımlarını yönlendirirken, düşük entropili çoğunluk tokenları öğrenmeye az katkı sağlar veya hatta öğrenmeyi engeller. RLVR, büyük ölçüde temel modelin genel entropi örüntülerini koruyarak yalnızca yüksek entropili tokenları ayarlar. Bu durum 80/20 kuralına dayanır; Qwen3 modelleri için yalnızca en yüksek entropili %20'lik tokenlar üzerinde eğitim, tam gradyan güncellemeleriyle karşılaştırılabilir veya onları aşar.
Makalenin ana sonuçları, standart DAPO'yu kullanır (⚠️ TRL'de Dinamik Örnekleme desteklenmez). Ana sonuçları yeniden üretmek için aşağıdaki yapılandırmayı kullanın:
from trl import GRPOConfig, GRPOTrainer
from trl.rewards import get_soft_overlong_punishment
training_args = GRPOConfig(
# --- vanilla DAPO parameters (80/20 rule: section 5.2) --- #
# Overlong Filtering
mask_truncated_completions=True,
# Token-level Loss
loss_type="dapo",
# Clip-Higher
epsilon_high=0.28, # DAPO paper: section 4.1
epsilon=0.2, # DAPO paper: section 4.1
# Other parameters used
per_device_train_batch_size=512, # mini-batch size for training in the paper, DAPO paper: section 4.1
num_generations=16, # number of sample responses in the paper, DAPO paper: section 4.1
max_completion_length=20480, # maximum number of tokens for generation in the paper, DAPO paper: section 4.1
beta=0.0, # section 2.3, DAPO paper
# --- Gradients on the highest entropy tokens --- #
top_entropy_quantile=0.2
)
# Soft Overlong Punishment
sop_reward = get_soft_overlong_punishment(max_completion_len=20480, soft_punish_cache=4096) # DAPO paper: section 4.1
trainer = GRPOTrainer(
...,
args=training_args,
reward_funcs=[..., sop_reward],
)Dr. GRPO: R1-Zero Benzeri Eğitimi Anlama: Eleştirel Bir Bakış
📜 Makale: https://huggingface.co/papers/2503.20783
R1-Zero eğitimine yönelik bir çalışma, RL performansındaki ön eğitim etkilerini belirler ve token verimliliğini artırmak için Dr. GRPO'yu önerir; bu sayede AIME 2024'te üstün bir doğruluk elde edilir. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import GRPOConfig
training_args = GRPOConfig(
loss_type="dr_grpo",
per_device_train_batch_size=1, # train_batch_size_per_device in the Training section of the repository
num_generations=8, # num_samples in the Training section of the repository
max_completion_length=3000, # generate_max_length in the Training section of the repository
beta=0.0, # β in the Training section of the repository
)Bölüm I: Hile mi Tuzak mı? LLM Muhakemesi için RL'ye Derinlemesine Bir Bakış (Lite PPO)
📜 Makale: https://huggingface.co/papers/2508.08221
Bu makalenin yazarları, aşağıdaki kombinasyonun şunu buldular:
- tüm batch üzerinde hesaplanan standart sapmayla ödülleri ölçekleyerek ve
- toplam token sayısı üzerinden kaybı birleştirme
vanilla PPO kaybı kullanarak eleştirmensiz politikaların öğrenme yeteneğini açığa çıkarabilir. Sonuçları, bu basit kombinasyonun tutarlı bir şekilde performansı iyileştirdiğini ve GRPO ile DAPO gibi stratejileri geride bıraktığını göstermektedir.
TRL, bu öğrenimleri kullanarak bir GRPO modeli eğitmeyi destekler:
from trl import GRPOConfig
training_args = GRPOConfig(
...
scale_rewards="batch",
loss_type="dapo",
# Other parameters used
beta=0.0, # = init_kl_coef in the paper
top_p=0.99,
top_k=100,
temperature=0.99,
num_generations=8, # = num_return_sequences in the paper
num_iterations=1, # = ppo_epochs in the paper
per_device_train_batch_size=4,
gradient_accumulation_steps=32,
steps_per_generation=8, # (rollout_batch_size*num_return_sequences) / (per_device_train_batch_size*gradient_accumulation_steps)
)Gradyan biriktirme kullanıldığında, kaybın parti içindeki toplam token sayısı üzerinden birleştirildiğini, ancak biriktirilen parti üzerinden birleştirilmediğini unutmayın. Daha fazla ayrıntı için GRPO Trainer - Loss types bölümüne bakın.
Kesikli Önem Numunesi Alma
📰 Blog: https://fengyao.notion.site/off-policy-rl
📜 Makale: https://huggingface.co/papers/1606.02647
Çevrimiçi politika öğrenme yöntemleri, eğitim altyapısından ayrı bir optimize edilmiş çıkarım çerçevesini (ör. vLLM) rollout üretimi için kullanır. Bu, rollout-eğitim uyumsuzluğuna yol açar; aşağıdaki PPO hedefinde de görüldüğü gibi:
Her ne kadar ve aynı model parametrelerini paylaşıyor olsa da , önemli ölçüde farklı token olasılıkları üretebilirler. Bu beklenmedik davranış, on-policy varsayımını örtük olarak bozar ve eğitimi sessizce off-policy hale getirir.
Kesikli Önem Numunesi Alma (TIS), model güncellemesini önem numunesi alma düzeltmesiyle uyarlayarak bu sorunu ele alır. Yukarıda bahsedilen PPO hedefinin gradyan hesabı şu hale gelir
burada ve hiperparametrelerdir. TIS, GRPO'da uygulanır ve vllm_importance_sampling_mode terimini içeren bir truncate, değeri seçilerek etkinleştirilir, örneğin "sequence_truncate" veya "token_truncate".
from trl import GRPOConfig
training_args = GRPOConfig(
...
use_vllm=True,
vllm_importance_sampling_correction=True, # default True
vllm_importance_sampling_mode="sequence_truncate", # or "token_truncate"
vllm_importance_sampling_clip_max=2.0, # hyper-parameter C_max
)Maskeli Önem Numunesi Alma
📰 Blog: https://ringtech.notion.site/icepop
📜 Makale: https://huggingface.co/papers/2510.18855
Masked Importance Sampling (MIS), Truncated Importance Sampling ile aynı sorunu ele alır ancak kırpma yerine maskeleme kullanır. MIS, sapma aralığının dışına çıkan güncellemeleri tamamen dışarıda bırakarak daha kesin bir tutum sergiler: .
MIS, GRPO için uygulanmıştır ve "mask" terimini içeren bir vllm_importance_sampling_mode varyantı seçilerek etkinleştirilir; örneğin "sequence_mask" veya "token_mask".
from trl import GRPOConfig
training_args = GRPOConfig(
...
use_vllm=True,
vllm_importance_sampling_correction=True, # default True
vllm_importance_sampling_mode="sequence_mask", # or "token_mask"
vllm_importance_sampling_clip_max=2.0, # hyper-parameter C_max
vllm_importance_sampling_clip_min=0.5, # hyper-parameter C_min
)içinde AsyncGRPOTrainer, eski log-olasılıklar örnekleyiciye (sampler) ait olduğundan, oran doğrudan eğitilen politika ile örnekleyici arasında alınır ve dışındaki token'lar kayıptan (loss) çıkarılır. Varsayılan olarak açıktır:
from trl import AsyncGRPOConfig
training_args = AsyncGRPOConfig(
...,
vllm_importance_sampling_clip_min=0.5, # hyper-parameter C_min
vllm_importance_sampling_clip_max=5.0, # hyper-parameter C_max
)Dizi Seviyesinde Önem Numunesi Alma
Eğitim-çıkarım dağılım kaymasını düzeltmek için teorik olarak temellendirilmiş yöntem, yukarıdaki iki makalede Truncated Importance Sampling ve Masked Importance Sampling olarak tanıtılan önem örneklemesidir. Ancak, gradyanın yanlılıksız kalmasını ve kararlı bir eğitimi sağlamak için formülasyon seçimi kritiktir.
Bu çalışma, eğitim–çıkarım uyumsuzluğunu ele almak için doğru yaklaşımın dizin düzeyinde önem örneklemesi olduğunu göstermektedir. Belirteç düzeyindeki önem örneklemesi, dizin düzeyindeki orandan daha düşük varyans elde etse de önyargıya yol açtığından, otoregresif modeller için uygun olmadığı savunulmaktadır. Belirteç düzeyindeki gradim tahminleyicisi Dizin Düzeyinde IS tahminleyicisi şu şekildedir: , dizinin tamamı (yörünge) üzerinde tek bir önem oranı uygulayan doğru, önyargısız politika gradim tahminleyicisi
TRL, vllm_importance_sampling_mode yapılandırma parametresi aracılığıyla Önem Numunesi alma (Importance Sampling) granülerlik seviyesini açığa çıkarır; burada "sequence_*" modları bir dizi düzeyinde önem numunesi alma oranını, "token_*" ise token başına bir oranı uygular.
Pekiştirmeli Öğrenmeyi Ölçeklendirme Sanatı
📜 Makale: https://huggingface.co/papers/2510.13786
Büyük dil modellerinde pekiştirmeli öğrenme ölçeklemesini analiz etme ve tahmin etme için bir çerçeve tanımlayan, hesaplama verimliliğini etkileyen temel tasarım seçimlerini belirleyen ve ScaleRL adlı bir en iyi uygulama tarifi öneren sistematik bir çalışma.
ScaleRL tarifini aşağıdaki yapılandırmalarla GRPOTrainer kullanarak kısmen yeniden üretebilirsiniz:
from trl import GRPOConfig
training_args = GRPOConfig(
loss_type="cispo",
epsilon_high=5.0,
num_generations=16,
scale_rewards="batch",
cast_lm_head_to_fp32=True
)İkisi Bir Arada: GRPO'nuz Gizlice DPO
📜 Makale: https://huggingface.co/papers/2510.00977
GRPO’nun etkinliğinin, büyük grup boyutları üzerinden doğru avantaj tahmininden değil, örtük bir karşılaştırmalı amaçtan kaynaklandığını gösterir. Bu, GRPO ile DPO arasında resmi bir bağlantı kurar; burada grup boyutu yalnızca karşılaştırmalı amacın Monte Carlo tahmincilerini etkiler. Yazarlar, yalnızca iki rollout kullanan ve çok daha düşük eğitim maliyetiyle 16-GRPO’nun performansını eşitleyen 2-GRPO’yu tanıtır. TRL’de GRPOTrainer ile num_generations=2 parametresi kullanılarak uygulanır. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import GRPOConfig, GRPOTrainer
training_args = GRPOConfig(
num_generations=2, # minimal two-rollout case (2-GRPO) from the paper
loss_type="grpo",
)
trainer = GRPOTrainer(
...,
args=training_args,
)Yumuşak Uyarlanabilir Politika Optimizasyonu
📜 Makale: https://huggingface.co/papers/2511.20347
Soft Adaptive Policy Optimization (SAPO), sert kırpma yerine, kullanışlı öğrenme sinyallerini korurken off-policy güncellemelerini uyumlu bir şekilde zayıflatan, sıcaklık kontrollü ve pürüzsüz bir kapı kullanır. GSPO ve GRPO ile karşılaştırıldığında SAPO, hem dizi tutarlılığına hem de token uyumluluğuna sahiptir. GSPO gibi SAPO da dizi düzeyinde tutarlılığı korur, ancak yumuşak kapılaması, GSPO'da kullanılan kırılgan sert kırpma bandını atlatan sürekli bir güven bölgesi oluşturur.
Makalenin ayarlarını yeniden oluşturmak için bu yapılandırmayı kullanın:
from trl import GRPOConfig
training_args = GRPOConfig(
loss_type="sapo",
sapo_temperature_pos=1.0, # default value
sapo_temperature_neg=1.05, # default value
scale_rewards="group",
...
)DeepSeek-V3.2: Açık Büyük Dil Modellerinin Sınırlarını İleriye Taşıma
📜 Makale: https://huggingface.co/papers/2512.02556
DeepSeek-V3.2 teknik raporu, GRPO'nun performansını artırmak için çeşitli teknikler tanıtır. TRL'de şunları uygularız:
- Yansız KL Tahmini, tahmini, mevcut politika ve davranış politikası .
Bu özellik varsayılan olarak etkinleştirilidir (GRPOConfig içinde use_bias_correction_kl=True), bu nedenle yalnızca beta > 0 değerini ayarlamanız gerekir:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
beta=0.001, # the paper doesn't specify the value used, so we use the value from "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning"
)- Eski politika ile önemli ölçüde sapma gösteren (yüksek KL ayrılığı) ve politikanın kötü performans sergilediği (negatif avantaj) dizileri görmezden gelerek eğitimi kararlı hale getiren Off-Policy Masking.
Off-policy ikili maskesi şu şekilde tanımlanır:
Bu maske, GRPO kaybına aşağıdaki şekilde uygulanır:
Bu özelliği etkinleştirmek için off_policy_mask_threshold (ile eşleşen ) içindeki GRPOConfig:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
off_policy_mask_threshold=0.5,
)Makale bir değeri belirtmese de, iyi bir başlangıç noktası . olabilir. Eğitim çok muhafazakâr görünüyorsa veya çok fazla dizi maskeleme altındaysa, değeri artırabilirsiniz. Referans olarak, token başına 1 nat ortalama log-oran sapmasına karşılık gelir; yani bu eşiğin aşıldığı dizilerde eski politika, bu tokenları mevcut politikadan ortalama kat daha yüksek olasılıkla üretirdi.
- Üst-sıralı/üst-olasılıklı örneklemeyi tarafsız tutan Keep Sampling Mask stratejisi, örnekleyici her token'ı kısaltılmış destek kümesinden çeker , kısaltma sonrası kalan token'lar, böylece politika log-olasılığı aynı destek kümesi üzerinde yeniden normalize edilir:
Olmadığında önem oranı düşük taraflı sapar ve gradyan, örnekleyicinin asla çekmediği tokenlere olasılık kütlesi aktarmaya devam eder; bu da eğitimi çökertir. Bu, AsyncGRPOTrainer içinde desteklenir: top_p < 1.0, top_k > 0 veya min_p > 0.0 kullanıldığında, rollout işçisi her tokenin vLLM’deki desteğini kaydeder (>= 0.28, --return-sampling-mask --enable-scale-out ile başlatılır) ve eğitimci bunu yeniden normalize eder:
from trl import AsyncGRPOConfig
training_args = AsyncGRPOConfig(
...,
top_p=0.95,
top_k=512,
)vLLM'nin colocate moduyla (>= 0.28) GRPOTrainer içinde de desteklenir: top_k > 0 ve önem örneklemesi düzeltmesi etkinleştirildiğinde (varsayılan), vLLM her token'ın destek kümesini döndürür ve trainer bunu yeniden normalize eder:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
use_vllm=True,
top_p=0.95,
top_k=512,
)GDPO: Çoklu ödüllü RL optimizasyonu için grup ödül-ayrıştırılmış normalizasyon politikası optimizasyonu
📜 Makale: https://huggingface.co/papers/2601.05242
GDPO, çoklu ödül eğitimine yönelik tasarlanmış bir pekiştirmeli öğrenme optimizasyon yöntemidir. Mevcut yaklaşımlar, çoklu ödül ortamlarında yaygın olarak Group Relative Policy Optimization (GRPO) uygularken, yazarlar bunun ödül avantajlarının çökmesine yol açtığını, eğitim sinyalinin çözünürlüğünü azalttığını ve istikrarsız veya başarısız yakınsamaya neden olduğunu göstermektedir. GDPO, ödül normalleştirmesini bireysel ödüller arasında ayrıştırarak bu sorunu çözer; böylece ödüllerin göreli farklarını korur ve daha sadık bir tercih optimizasyonuna olanak tanır. GDPO'yu çoklu ödüllü RL eğitimi için etkinleştirmek için basitçe şunu ayarlayın:
bir grup için ödül ve grup başına örnek için GDPO, her ödülü bağımsız olarak normalize eder:
Normalleştirilmiş grup avantajı, ardından ödüller üzerinden toplanır:
Son parti başına normalizasyon şu sonucu verir:
Burada ve toplu işlemdeki tüm gruplar üzerindeki istatistikleri ifade eder.
from trl import GRPOConfig
training_args = GRPOConfig(
...,
multi_objective_aggregation="normalize_then_sum",
)Bu yöntemin yalnızca eğitim birden fazla ödül fonksiyonu içerdiğinde etkili olduğunu unutmayın.
Yazarlar, topluluğun GDPO’nun GRPO’ya kıyasla etkinliğini hızla doğrulamasını sağlayan, kullanımı kolay ve slurm gerektirmeyen bir eğitim örneği sunmaktadır; bkz. Deney-”Aha” anı.
Uzunluk-Tarafsız Sıralama Politikası Optimizasyonu: RLVR'de Yanıt Uzunluğu Varyasyonunu Ortaya Çıkarma ve Kontrol Etme
📜 Makale: https://huggingface.co/papers/2602.05261
Length-Unbiased Sequence Policy Optimization (LUSPO), GSPO'yu her bir dizinin kaybını uzunluğuna göre ölçekleyerek değiştirir. Bu, GSPO'nun daha uzun yanıtları cezalandıran gradyan önyargısını düzeltir. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import GRPOConfig
training_args = GRPOConfig(
loss_type="luspo",
importance_sampling_level="sequence",
epsilon=2e-3, # section 5.1 of the paper
epsilon_high=2.5e-3, # section 5.1 of the paper
)VESPO: Kararlı Off-Policy LLM Eğitimi İçin Varyasyonel Sıralama Seviyeli Yumuşak Politika Optimizasyonu
📜 Makale: https://huggingface.co/papers/2602.10693
VESPO, politika eskimesi, asenkron güncellemeler ve eğitim-çıkarsama uyumsuzluklarından kaynaklanan politika dışı RL'deki eğitim kararsızlığını ele alır. Heuristik token düzeyinde kırpma (GRPO) veya dizi uzunluğu normalizasyonu (GSPO) yerine VESPO, bir varyasyonel çerçeveden ilkesel bir yeniden şekillendirme çekirdeği türetir. Uygulamada bu, uzunluk önyargısı oluşturmadan aşırı dizi düzeyindeki önem ağırlıklarını zarif bir şekilde bastıran, pürüzsüz ve asimetrik bir Gamma ağırlıklandırma fonksiyonu sağlar.
ile dizel düzeydeki önem oranı ve gradyan ölçekleme katsayısı olarak hizmet etmek üzere hesaplama grafından ayrıştırılır.
from trl import GRPOConfig
training_args = GRPOConfig(
loss_type="vespo",
use_vllm=True, # or False if not using any token-level `vllm_importance_sampling_correction` methods
vllm_importance_sampling_mode="token_truncate", # default correction mode for VESPO, `token_mask` also supported
vespo_k_pos=2.0, # power exponent (c1 in paper Section 3.4) for positive advantages
vespo_lambda_pos=3.0, # decay factor (c2 in paper Section 3.4) for positive advantages
vespo_k_neg=3.0, # power exponent (c1 in paper Section 3.4) for negative advantages
vespo_lambda_neg=2.0, # decay factor (c2 in paper Section 3.4) for negative advantages
)Score Centering, Off-policy Pekiştirmeli Öğrenmeyi İstikrarlı Hale Getirir
📜 Makale: https://huggingface.co/papers/2609.20807
Eğitim-çıkarım uyumsuzluğu altında, skor örnekleme cihazı altında , sıfıra ortalama olarak eşitlenmez, bu nedenle her güncelleme politikayı, avantajla birlikte artan bir miktarda örnekleme cihazına doğru kaydırır. Skor merkezleme, her konumda bu beklentiyi çıkarır, böylece sabit bir avantaj artık politikayı hareket ettirmez:
ile ağırlığı Masked Importance Sampling: içinde ve dışında. İç beklenti, örnekleyicinin her konumdaki en olası tokenları üzerinde alınır ve bunların log-olasılıkları raporlanır; sözlüğün geri kalanında örnekleyici, kalan kütleye yeniden ölçeklendirilmiş eğitimli politika olarak kabul edilir.
AsyncGRPOTrainer'in varsayılan hedefi, rollout işçisinin vLLM'den üretilen her token'ın en yüksek log-olasılıklarını istemesidir:
from trl import AsyncGRPOConfig
training_args = AsyncGRPOConfig(
...,
score_centering=True, # default; `False` trains with the clipped objective instead
vllm_importance_sampling_clip_min=0.5, # hyper-parameter C_min
vllm_importance_sampling_clip_max=5.0, # hyper-parameter C_max
num_sampler_logprobs=8, # tokens per position the expectation is taken over
)Optimal Avantaj Geri Dönüşümü
experimental.a2po.A2POTrainer ile ilgili makaleler.
Optimal Avantaj Geri Dönüşümü ile LLM Muhakemesi için RL Hızlandırma
📜 Makale: https://huggingface.co/papers/2505.20686
A*-PO (Optimal Advantage Regression), LLM akıl yürütme için hem çevrimiçi bir eleştirmeni hem de çok örnekli grup simülasyonlarını (rollout) gerektirmeyen iki aşamalı bir RL yöntemidir. 1. aşama, referans politika örneklerinden V*(x) = β·log E_{y∼π_ref}[exp(r(x, y)/β)] şeklindeki optimal değeri çevrimdışı olarak tahmin eder; 2. aşama ise kare hata regresyon kaybı (β·log(π(y|x)/π_ref(y|x)) − (r(x, y) − V*(x)))² kullanarak her istem için tek bir üretimle politika içi (on-policy) güncellemeler yapar. Bu, PPO/GRPO/REBEL'e kıyasla daha hızlı eğitim ve daha düşük tepe bellek kullanımı sağlar. Yöntem, ikili doğrulanabilir ödül varsayar ve referans politikanın Pass@K değerini aşamaz. A2PO bölümüne bakın. Resmi kod ZhaolinGao/A-PO adresinde bulunabilir.
from trl.experimental.a2po import A2POConfig, A2POTrainer
# Hyperparameters from the paper (Qwen2.5, GSM8K/MATH)
training_args = A2POConfig(
beta1=0.5, # KL temperature for offline V* estimation
beta2=1e-3, # KL temperature for the on-policy regression target
num_value_samples=8, # N samples per prompt from the reference policy
)
trainer = A2POTrainer(
model=...,
reward_funcs=..., # should return a binary reward in {0, 1}
args=training_args,
train_dataset=...,
)
trainer.train()Doğrudan Tercih Optimizasyonu
DPOTrainer ile ilgili makaleler
Doğrudan Tercih Optimizasyonu: Dil Modeliniz Gizlice Bir Ödül Modelidir
📜 Makale: https://huggingface.co/papers/2305.18290
Direct Preference Optimization (DPO), insan tercihlerine dayalı olarak politika eğitimini doğrudan optimize ederek, dil modellerini insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ile karşılaştırıldığında daha verimli ve daha iyi performansla ince ayar yapar. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="sigmoid", # losses in Appendix B of the paper
per_device_train_batch_size=64, # batch size in Appendix B of the paper
learning_rate=1e-6, # learning rate in Appendix B of the paper
beta=0.1, # β in Appendix B of the paper
)SLiC-HF: İnsan Geri Bildirimi ile Sıralama Olasılığı Kalibrasyonu
📜 Makale: https://huggingface.co/papers/2305.10425
Sequence Likelihood Calibration (SLiC), dil modellerinde insan tercihlerinden öğrenme için Reinforcement Learning from Human Feedback (RLHF)'in etkili ve daha basit bir alternatifi olduğu gösterilmiştir. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="hinge", # Section 2 of the paper
per_device_train_batch_size=512, # batch size in Section 3.2 of the paper
learning_rate=1e-4, # learning rate in Section 3.2 of the paper
)Bu parametreler yalnızca yayınlanan sürümde görünür
İstatistiksel Reddetme Örnekleme Tercih Optimizasyonunu İyileştirir
📜 Makale: https://huggingface.co/papers/2309.06657
Önerir RSO, istatistiksel reddetme örneklemesi yoluyla daha güçlü tercih çiftleri seçerek çevrimdışı tercih optimizasyonunu artırır; DPO/SLiC'yi tamamlar. Ayrıca yeni bir kayıp fonksiyonu tanımlarlar:
RSO filtreli veriler ve hinge-norm kaybı ile eğitim yapmak için aşağıdaki kodu kullanabilirsiniz:
from trl import DPOConfig, DPOTrainer
dataset = ...
def rso_accept(example): # replace with your actual filter/score logic
return example["rso_keep"]
train_dataset = train_dataset.filter(rso_accept)
training_args = DPOConfig(
loss_type="hinge",
beta=0.05, # correspond to γ in the paper
)
trainer = DPOTrainer(
...,
args=training_args,
train_dataset=train_dataset,
)
trainer.train()Reverse KL'nin Ötesinde: Çeşitli Sapma Kısıtlarıyla Doğrudan Tercih Optimizasyonunun Genelleştirilmesi
📜 Makale: https://huggingface.co/papers/2309.16240
(( f \)-DPO'yu önerir; DPO'yu, olağan ters-KL düzenleyicisini genel bir (( f \)-ayrılığıyla değiştirerek genişletir ve bu sayede mod-arama ile kütle-kapsama davranışı arasında denge kurmanıza olanak tanır (ör. ileri KL, JS, (( \alpha \)-ayrılıkları). Tek değişiklik, DPO log-oran marjının bir f′ skoru:
Burada seçilen (( f \)-divergansı tanımlayan konveks fonksiyonun türevidir.
Yeniden üretmek için:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="sigmoid",
beta=0.1,
f_divergence_type="js_divergence", # or "reverse_kl" (default), "forward_kl", "js_divergence", "alpha_divergence"
f_alpha_divergence_coef=0.5, # only used if f_divergence_type="alpha_divergence"
)İnsan Tercihlerinden Öğrenmeyi Anlamak İçin Genel Bir Teorik Paradigma
📜 Makale: https://huggingface.co/papers/2310.12036
İnsan tercihlerinden öğrenme, çiftli tercih olasılıkları üzerinde tek bir KL-düzenlenmiş amaç fonksiyonu olarak yazılabilir:
bu, RLHF ve DPO'nun logit seçimine karşılık gelen özel durumlar olduğunu ortaya koyar . Makale, bu logit dönüşümünün neredeyse deterministik tercihleri büyüttüğünü ve KL düzenlemesini etkili bir şekilde zayıflattığını, bu da aşırı uyumu açıkladığını gösteriyor. Identity dönüşümü (IPO) Bradley–Terry ödül modeli varsaymadan tercihleri doğrudan optimize ederek bu patolojiyi önler. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="ipo", # Section 5.1 of the paper
per_device_train_batch_size=90, # mini-batch size in Section C.1 of the paper
learning_rate=1e-2, # learning rate in Section C.1 of the paper
)Bu parametreler yalnızca yayınlanan sürümde görünür
Dil Modeli Hizalamasının Verimli ve Kesin Optimizasyonu
📜 Makale: https://huggingface.co/papers/2402.00856
Makale, DPO gibi doğrudan tercih yöntemlerinin yanlış KL yönünü optimize ettiğini ve bunun bulanık tercih yakalama ile sonuçlandığını göstermektedir; EXO'yu, ileri KL yaklaşımları yerine ters KL olasılık eşleştirmesinden yararlanarak insan tercih hizalama hedefini tam olarak optimize etmenin verimli bir yolu olarak önermektedir. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="exo_pair", # Section 3.2 of the paper
# From Section B of the paper
per_device_train_batch_size=64,
learning_rate=1e-6,
beta=0.1,
)Açık Ödüllerle Dil Modellerinin Gürültü Karşıtlı Hizalama
📜 Makale: https://huggingface.co/papers/2402.05369
Makale, dil modeli hizalamayı bir gürültü-karşıtlı sınıflandırma problemi olarak yeniden çerçeveler; yanıtlar üzerindeki ödül kaynaklı hedef dağılımla eşleştirerek açık ödüllerden (veya tercihlerden) politika öğrenmek için InfoNCA'yı önerir ve DPO'nun özel bir ikili durum olduğunu gösterir. Ardından, yalnızca göreli (karşıtlı) hedeflerde görülen olasılık çöküşünü önlemek için mutlak bir olasılık terimi ekleyen NCA'yı tanıtır.
Çiftli tercihlerde, seçilen/rededilen, puanları tanımlayın, ve NCA tercih kaybını uygulayın.
Makalenin ayarlarını yeniden oluşturmak için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="nca_pair",
# From Section C of the paper
per_device_train_batch_size=32,
learning_rate=5e-6,
beta=0.01,
)Kanıtlanabilir olarak Sağlam DPO: Gürültülü Geri Bildirimle Dil Modellerini Hizalama
📜 Makale: https://huggingface.co/papers/2403.00409
Gürültülü insan tercihleri altında DPO, etiket tersine çevirmelerinin hedefi önyargılaması nedeniyle bozulur. Robust DPO, basit bir gürültü modeli altında DPO kaybını analitik olarak önyargısızlaştırarak bunu düzeltir ve kanıtlanabilir garantiler sunar.
Burada şu adreste tanımlanan DPO kaybıdır: Direct Preference Optimization: Your Language Model is Secretly a Reward Model ve etiket değiştirme olasılığıdır.
Bu tek düzeltme, gürültülü tercih verilerini temiz DPO hedefinin taransız bir tahmincisine dönüştürür.
from trl import DPOConfig
training_args = DPOConfig(
loss_type="robust",
per_device_train_batch_size=16, # batch size in Section B of the paper
learning_rate=1e-3, # learning rate in Section B of the paper
beta=0.1, # β in Section B of the paper,
max_length=512, # max length in Section B of the paper
label_smoothing=0.1 # label smoothing {@html ""} in Section 6 of the paper
)Büyük Dil Modeli Hizalama İçin İkili Sınıflandırıcı Optimizasyonu
📜 Makale: https://huggingface.co/papers/2404.04656
Teorik analiz ve yeni bir algoritma olan Binary Classifier Optimization, ikili geri bildirim sinyalleri kullanılarak büyük dil modellerinin hizalanmasını açıklar ve iyileştirir. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
BCO, dil modeli hizalamasını optimal ödül ağırlıklı dağılımdan davranışsal klonlama olarak yeniden çerçeveler; bu sayede RL'den kaçınan ve teorik olarak temellendirilmiş basit denetimli hedefler sunar. Hem eşleşmemiş ödül verilerini hem de çiftli tercih verilerini destekler; tercih ayarında DPO tarzı bir kayba indirgenen ödül kayması değişmez (reward-shift–invariant) bir formülasyon kullanır.
Çiftli tercih ayarında BCO kaybı şu şekilde tanımlanır:
Bu ayarlandırmada makaleyi yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="bco_pair",
# From Section C of the paper
per_device_train_batch_size=128,
learning_rate=5e-7,
beta=0.01,
)Gerçekten İyi Hizalama İçin Referans Modelinizi Öğrenin
📜 Makale: https://huggingface.co/papers/2404.09656
Trust Region DPO (TR-DPO), eğitim sırasında referans politikayı günceller ve Anthropic HH ile TLDR veri setlerinde DPO'ya karşı etkinliğini gösterir; GPT-4 ile otomatik değerlendirme ölçümüne göre DPO'yu %19'a kadar geride bırakarak tutarlılığı, doğruluğu, detay seviyesini, faydalılığı ve zararsızlığı iyileştirir. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
sync_ref_model=True, # enable TR-DPO (Section 3 of the paper)
ref_model_mixup_alpha=0.6, # α soft update weight (Table 1 of the paper)
ref_model_sync_steps=512, # τ update frequency in steps (Table 1 of the paper)
beta=0.05, # β temperature (Table 1 of the paper)
learning_rate=1e-6, # learning rate (Table 2 of the paper)
num_train_epochs=1, # Table 2 of the paper
max_length=1024, # max tokens length (Table 2 of the paper)
max_grad_norm=2, # max gradient norm (Table 2 of the paper)
warmup_steps=100, # warm-up steps (Table 2 of the paper)
)Yinelemeli Muhakeme Tercih Optimizasyonu
📜 Makale: https://huggingface.co/papers/2404.19733
Iterative RPO, zincir-düşünce adaylarını tekrar tekrar üreterek, doğru ve yanlış yanıtlardan tercih çiftleri oluşturarak ve DPO + NLL hedefiyle eğitim yaparak akıl yürütmeyi iyileştirir. Kazanan izleri gerçekten üretmeyi öğrenmek için ek NLL terimi kritiktir.
TRL, "sigmoid" (DPO) ile "sft" (NLL) karıştırılarak DPO + NLL hedefini ifade edebilir:
from trl import DPOConfig, DPOTrainer
training_args = DPOConfig(
loss_type=["sigmoid", "sft"],
loss_weights=[1.0, 1.0], # alpha in the paper, recommended value is 1.0
)
trainer = DPOTrainer(
...,
args=training_args,
)Kâğıdın iteratif bir döngü kullandığına dikkat edin: her iterasyon, mevcut modelle CoT adaylarını yeniden üretir, ardından taze tercih çiftleri üzerinde yeniden eğitim yapar. TRL bu döngüyü sizin için otomatikleştirmez.
Dil Modeli Hizalama İçin Kendi Kendine Oynama Tercih Optimizasyonu
📜 Makale: https://huggingface.co/papers/2405.00675
Dil modeli hizalama için SPPO adlı bir kendi kendine oynama yöntemi, sabit toplam oyun ortamında Nash denge politikasını yaklaşık olarak hesaplayarak sınırlı veriyle diğer yaklaşımları geride bırakır ve en iyi performansı elde eder. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="sppo_hard",
# From Section 5 of the paper
beta=0.001, # β = η^−1
per_device_train_batch_size=64,
learning_rate=5e-7,
)RLHF'de Aşırı Optimizasyonun Kanıtlanabilir Şekilde Azaltılması: SFT Kaybınız Gizli Bir Karşıt Düzenleyicidir
📜 Makale: https://huggingface.co/papers/2405.16436
Düzenlenmiş Tercih Optimizasyonu (RPO), DPO kaybını SFT kaybıyla birleştirerek RLHF'deki aşırı optimizasyonu azaltır ve politikanın sahte yüksek vekil ödüllere sahip eylemleri seçmesini kanıtlı olarak engeller. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type=["sigmoid", "sft"], # RPO loss = DPO + SFT (Section 5 of the paper)
loss_weights=[1.0, 0.005], # η=0.005 SFT weight in Appendix E.1 of the paper
beta=0.01, # β in Appendix E.1 of the paper
learning_rate=5e-7, # learning rate in Appendix E.1 of the paper
num_train_epochs=1, # Appendix E.1 of the paper
)Optimal Transport ile LLM'lerin Dağılımsal Tercih Hizalama
📜 Makale: https://huggingface.co/papers/2406.05882
Optimal Transport ile Hizalama (AOT), pozitif ve negatif örnek dağıtımları arasındaki stokastik baskınlık ihlallerini cezalandırarak büyük dil modellerini dağıtım düzeyinde hizalar ve hizalama kriterlerinde en iyi performansı elde eder. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="aot",
beta=0.01, # from the caption of Figure 2
)veya eşleşmemiş sürüm için:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="aot_unpaired",
beta=0.01, # from the caption of Figure 2
)Makalede ek bir hiperparametre yoktur.
Büyük Dil Modelleriyle ve Büyük Dil Modelleri İçin Tercih Optimizasyonu Algoritmalarını Keşfetmek
📜 Makale: https://huggingface.co/papers/2406.08414
LLM tabanlı bir yöntem, yüksek performanslı tercih optimizasyonu algoritmalarını otomatik olarak keşfeder ve bu da logistik ile üstel kayıpları birleştiren DiscoPOP adlı yeni bir algoritma ortaya çıkarır. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="discopop",
per_device_train_batch_size=64, # batch size in Section B.1 of the paper
learning_rate=5e-7, # learning rate in Section B.1 of the paper
beta=0.05, # β in Section B.1 of the paper,
discopop_tau=0.05 # τ in Section E of the paper
)WPO: Ağırlıklı Tercih Optimizasyonu ile RLHF'yi Geliştirme
📜 Makale: https://huggingface.co/papers/2406.11827
WPO, DPO tarzı eğitimdeki off-policy farkını azaltmak için tercih çiftlerini politika olasılıklarına göre yeniden ağırlıklandırır. Kayıp fonksiyonu şudur:
ağırlık şu şekilde tanımlanır:
Makalenin ayarlarını yeniden oluşturmak için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="sigmoid", # DPO loss used in the paper
beta=0.01, # Section 4 of the paper
use_weighting=True,
)Anchored Preference Optimization and Contrastive Revisions: Hizalama Altındaki Belirsizliğin Ele Alınması
📜 Makale: https://huggingface.co/papers/2408.06266
CLAIR ve APO, daha fazla kontrastlı tercih çifti ve kontrollü hizalama hedefleri aracılığıyla LLM hizalamasını geliştirir ve model performansını GPT4-turbo'ya yakın bir seviyeye taşır. Makalenin ayarlarını yeniden oluşturmak için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="apo_zero", # Section 4 of the paper
per_device_train_batch_size=64, # batch size in Section B.1 of the paper
learning_rate=2e-7, # learning rate in Section 5.2 of the paper
beta=0.1, # β in Section 5.2 of the paper,
)from trl import DPOConfig
training_args = DPOConfig(
loss_type="apo_down", # Section 4 of the paper
per_device_train_batch_size=64, # batch size in Section B.1 of the paper
learning_rate=2e-7, # learning rate in Section 5.2 of the paper
beta=0.1, # β in Section 5.2 of the paper,
)Bu parametreler yalnızca yayınlanan sürümde görünür
Doğrudan Tercih Optimizasyonunda Uzunluk Duyarsızlaştırma
📜 Makale: https://huggingface.co/papers/2409.06411
Standart DPO'nun doğası gereği uzunluğa duyarlı olduğunu ve bu durumun modelleri genellikle aşırı uzun veya sözdebilimsel üretimlere yönlendirdiğini gösterir. Makale, LD-DPO'yu önerir; bu yöntem, daha uzun yanıtı ortak bir önekle (daha kısa yanıtın uzunluğuna kadar) ve fazla bir kuyruğa bölerek dizi log-olasılık toplamını değiştirir ve ardından kuyruğu bir katsayıyla ağırlığını azaltır :
Ayar standart DPO'yu geri getirir; daha küçük tercih kalitesini korurken ayrıntılılığı azaltır. Optimal model ailesine ve temel mi yoksa talimat modeli mi eğittiğinize bağlıdır, ancak makale güçlü bir varsayılan başlangıç noktası olarak önerir.
from trl import DPOConfig
training_args = DPOConfig(
ld_alpha=0.5,
)Karışık Tercih Optimizasyonu ile Çok Modlu Büyük Dil Modellerinin Muhakeme Yeteneğinin Geliştirilmesi
📜 Makale: https://huggingface.co/papers/2411.10442
Karışık Tercih Optimizasyonu'nu (MPO) tanıtarak, standart ön eğitim ve SFT sonrasında ortaya çıkan dağılım kaymasını ve zayıf Düşünce Zinciri'ni (CoT) ele alarak MLLM'lerde çok modlu akıl yürütmeyi iyileştirir. Makale, (1) yüksek kaliteli çok modlu tercih verisi için otomatik bir hat olan MMPR'ı ve (2) CoT'yi artıran birleşik bir tercih hedefi (çiftli + BCO tarzı + SFT) olan MPO'yu sunar. InternVL2-8B-MPO, MathVista'da 67.0 puan alır (InternVL2-8B'ye göre +8.7) ve 10 kat daha büyük olan InternVL2-76B ile karşılaştırılabilir düzeydedir. Bileşik kayıp ile TRL'de DPOConfig üzerinden kullanılır. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import DPOConfig
training_args = DPOConfig(
loss_type=["sigmoid", "bco_pair", "sft"], # ℒ = w_p·ℒ_p + w_q·ℒ_q + w_g·ℒ_g (Section 3.2 of the paper)
loss_weights=[0.8, 0.2, 1.0], # w_p, w_q, w_g loss weights (Section 7 of the paper)
learning_rate=5e-6, # learning rate (Section 7 of the paper)
)TÜLU 3: Açık Dil Modeli Eğitim Sonrası İşlemlerde Sınırları İleri Taşıma
📜 Makale: https://huggingface.co/papers/2411.15124
Uzunluk-normalize sigmoid kaybı, DPO'daki uzunluk önyargısını, Bradley-Terry kaybı hesaplanmadan önce seçilen ve reddedilen log-oran skorlarının ilgili tamamlama uzunluklarına bölünmesiyle ele alır. Bu token başına normalizasyon, referans model içermeyen bir ayar için ortalama log-olasılık ödülü olarak SimPO (Ek I “DPO w/ LN” ablasyonu) bölümünde tanıtılmış ve Tülu 3 (Bölüm 4.3) gibi eğitim sonrası tariflerinde standart referans model tabanlı DPO için daha sonra benimsenmiştir. Kayıp şudur: şu şekilde ayarlanabilir:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="sigmoid_norm",
)Gürültülü Tercihlere Sahip Büyük Dil Modelleri İçin Yanlılıksız Hizalama
📜 Makale: https://huggingface.co/papers/2607.03248
Bu makale, tercih gürültüsünü olasılıkla etiket tersine çevirme olarak modeler ve bu geçişi tersine çevirir, böylece gürültülü tercihlerle eğitilen politika, temiz tercihlerle aynı optimuma sahiptir. TRL, makalede α-UDPO olarak adlandırılan, sonuçlanan Sapmasız DPO (UDPO) kaybının normalize edilmiş biçimini uygular:
bu da . sabit maksimum gradyan büyüklüğünü DPO'da olduğu gibi 1'de tutar. Robust DPO'dan farklı olarak, makale, gerçek ters çevirme olasılığı varsayılandan düşük olduğunda optimumun yanlılıksız kaldığını gösterir (Yoruma 4.7), bu nedenle tam olarak tahmin edilmek zorunda değildir. TRL'de şu şekilde ayarlanır: label_smoothing. kullanmak için , makalenin uygulayıcılara önerdiği değer:
from trl import DPOConfig
training_args = DPOConfig(
loss_type="udpo",
label_smoothing=4 / 9, # flip probability ε, for a = ε / (1 - ε) = 0.8 as recommended in Appendix B.1 of the paper
beta=0.1, # 0.1 for HH and UltraFeedback, 0.5 for TL;DR (Appendix B.1 of the paper)
learning_rate=5e-6, # 5e-6 for Llama-3.2-3B and Qwen3-1.7B, 1e-6 for 8B models (Appendix B.1 of the paper)
num_train_epochs=3, # Appendix B.1 of the paper
per_device_train_batch_size=16, # total batch size of 128 on 8 GPUs (Appendix B.1 of the paper)
max_grad_norm=10.0, # Appendix B.1 of the paper
warmup_ratio=0.1, # Appendix B.1 of the paper
)Kahneman–Tversky Optimizasyonu
KTOTrainer ile ilgili makaleler
KTO: Model Hizalama Olarak Beklenti Teorisi Optimizasyonu
📜 Makale: https://huggingface.co/papers/2402.01306
KTO, perspektif teorisinden bir hizalama hedefi türetir ve doğrudan ikili insan geri bildiriminden (beğenildi/beğenilmedi) öğrenir; dengesiz/gürültülü sinyalleri iyi bir şekilde ele alırken DPO tarzı yöntemlerle eşleşir veya onları geçer. Makalenin ayarını yeniden üretmek için KTOTrainer'ın varsayılan yapılandırmasını kullanabilirsiniz:
from trl import KTOConfig, KTOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)
trainer = KTOTrainer(
model=model,
processing_class=tokenizer,
args=KTOConfig(),
train_dataset=...,
)
trainer.train()Gözetimli İnce Ayar
SFTTrainer ile ilgili makaleler
TailSFT: Filtrelenmiş İnce Ayar, Eğitim Sonrası Performansı İyileştirir
📜 Makale: https://huggingface.co/papers/2608.25756
TailSFT, sonraki pekiştirmeli öğrenme için yanıt kapsamını, başlangıç politikasına göre uzunluk-normalize kaybı en çok iyileşen dizileri filtreleyerek korur. tail_sft_gsm8k örneği, makalenin dağıtık seçim-partisi filtrelemesini SFTTrainer sınıfından türetme yoluyla uygular. Eğitimden önce her dizinin başlangıç-politikası kaybını kaydeder ve örnekleri her seçim partisinde bağımsız olarak filtreler.
python examples/tail_sft_gsm8k/tail_sft.py
Gecikmesiz EMA: Yanlılık Düzeltmeli İterasyon Ortalama Şemaları
📜 Makale: https://huggingface.co/papers/2508.00180
Bias-Corrected Exponential Moving Average (BEMA), stohastisiteyi azaltarak ve sapmayı ortadan kaldırarak dil modeli ince ayarının kararlılığını ve verimliliğini artırır. Makalede belirtildiği gibi SFT ile BEMA kullanmak için BEMACallback kullanabilirsiniz:
from trl import BEMACallback, SFTTrainer
trainer = SFTTrainer(
...
callbacks=[BEMACallback()],
)SFT'nin Genelleyiciliği Üzerine: Ödül Düzeltmeli Bir Pekiştirmeli Öğrenme Perspektifi
📜 Makale: https://huggingface.co/papers/2508.05629
Dinamik İnce Ayar (DFT), gradyanları dinamik olarak yeniden ölçekleyerek Büyük Dil Modellerinin (LLM) genelleme yeteneğini artırır, standart Denetimli İnce Ayarı (SFT) geride bırakır ve çevrimdışı pekiştirmeli öğrenmede rekabetçi sonuçlar gösterir.
burada gradyan durdurma operatörüdür. Makalede açıklandığı gibi SFT ile DFT kullanmak için loss_type="dft" argümanını kullanabilirsiniz:
from trl import SFTConfig
training_args = SFTConfig(
loss_type="dft",
...
)Makalenin kurulumunu yakından eşleştirmek için aşağıdaki yapılandırmayı kullanabilirsiniz (bkz. Bölüm 4.1). Yazarlar, hiperparametrelerin çok hassas olmadığını da belirtmektedir (Bölüm 4.3):
SFTConfig(
loss_type="dft",
learning_rate=5e-5,
max_length=2048,
# Target batch size 256; achieved via per-device batch 8 * grad accumulation 32
per_device_train_batch_size=8,
gradient_accumulation_steps=32,
)Daha Az Kesme, Dil Modellemeyi İyileştirir
📜 Makale: https://huggingface.co/papers/2404.10830
Makale, LLM eğitimi için kullanılan standart birleştir-sonra-böl ön işleme (packing_strategy="wrapped") yaklaşımının birçok belgenin keyfi olarak kesilmesine neden olduğunu ve bunun öğrenmeyi olumsuz etkilediğini göstermektedir. Belge parçalarını Best-Fit Decreasing kutu paketleme algoritması kullanarak bağlam pencerelerine paketlemeyi önerir; bu sayede kesilmeyi büyük ölçüde azaltırken yüksek token kullanımını korur ve model performansını iyileştirir. TRL bunu SFTConfig içinde "bfd_split" paketleme stratejisi olarak uygular. Paketleme hakkında daha fazla ayrıntı için SFT belgelerini inceleyin.
from trl import SFTConfig
training_args = SFTConfig(
packing=True,
packing_strategy="bfd_split",
max_length=4096,
)Birleşik Metinden Metne Dönüştürücü ile Transfer Öğrenmenin Sınırlarını Keşfetmek
📜 Makale: https://huggingface.co/papers/1910.10683
T5 makalesi, aktarım öğrenmesi için birleşik metinden-metne bir çerçeve önerir ve dizi paketleme (Bölüm 3.5.2) kavramını tanıtır: dolguyu azaltmak ve eğitim verimliliğini artırmak için birden fazla kısa diziyi sabit uzunlukta bloklara gruplama. Paketleme, TRL'de SFTConfig ile SFTTrainer aracılığıyla desteklenir. TRL ile paketlemeyi etkinleştirmek için bu yapılandırmayı kullanın:
from trl import SFTConfig
training_args = SFTConfig(
packing=True, # enable sequence packing (Section 3.5.2 of the paper)
max_length=512, # packed sequence length (Section 3.5.2 of the paper)
)Uniform Difüzyon Modellerinin Parametrelerinin Yeniden Düzenlenmesi: Bırak-Bir-Tane Gürültü Azaltıcı
📜 Makale: https://huggingface.co/papers/2605.22765
Düzenli ayrık difüzyon modelleri için, standart çapraz entropi (cross-entropy) düz gürültü gidericiyi (denoiser) öğrenmez ancak her token'ı kendi bozulmuş değerini kullanmadan tahmin eden leave-one-out (LOO) posterior'ını öğrenir. Makale, gürültü giderici, LOO posterior'ı ve skor (score) arasında kesin dönüşümleri türetir; böylece bir ağ, aynı çapraz entropi ile her iki parametrelendirmeden biri olarak eğitilebilir. Logit'ler softmax ile LOO posterior'ını parametrelendirdiğinde, kayıp fonksiyonunda kullanılan gürültü giderici
yani gözlemlenen token'in logit'ine eklenen bir düzeltme, burada kelime dağarcığı boyutudur ve uniform forward'ın temiz token'i koruma olasılığıdır. Makale, LOO parametrelendirmesinin üretim performansını tutarlı bir şekilde iyileştirdiğini bildirmektedir. Blok-diffusion SFT örneği examples/sft_diffusion_gemma/sft_diffusion_gemma.py her iki parametrelendirmeyi de --model_prediction_type (mean sadece gürültü giderici için, yayınlanan checkpoint ile eşleşen mean_loo LOO posterior için):
torchrun --nproc_per_node 8 examples/sft_diffusion_gemma/sft_diffusion_gemma.py \
--deepspeed examples/deepspeed_configs/zero3.json \
--use_peft \
--gradient_checkpointing \
--model_prediction_type mean_loo \
--output_dir diffusiongemma-26B-A4B-it-gsm8k-loraBüyük Transformer Modellerinde Aktivasyon Yeniden Hesaplamanın Azaltılması
📜 Makale: https://huggingface.co/papers/2205.05198
Tam aktivasyon checkpointing, geriye doğru yayılım sırasında checkpointlenmiş bölgedeki her operasyonu, dikkat (attention) dahil olmak üzere yeniden hesaplar; oysa bellekte tutulmaları durumunda maliyetleri göz önüne alındığında yeniden hesaplama maliyetinin büyük kısmını oluşturan operasyonlar yalnızca birkaç tanedir (dikkat bunlardan biridir). Makaledeki seçici aktivasyon yeniden hesaplama, tüm bölge yerine yalnızca bu pahalı operasyonları checkpointler. TRL bunu SFTTrainer için seçici aktivasyon checkpointing (SAC) olarak uygular; ileri geçiş sırasında dikkat çıktısını saklar, böylece geriye doğru yayılım bunu yeniden hesaplamak zorunda kalmaz:
from trl import SFTConfig
training_args = SFTConfig(
gradient_checkpointing=True,
gradient_checkpointing_kwargs={"selective": True},
)Parametre Verimli İnce Ayar (PEFT)
PEFT'nin TRL ile kullanımına ilişkin genel ayrıntılar için lütfen PEFT Entegrasyonu kılavuzuna başvurun.
LoRA: Büyük Dil Modellerinin Düşük Sıralı Uyarlaması
📜 Makale: https://huggingface.co/papers/2106.09685
Düşük Sıralı Uyarlaması (LoRA), büyük ölçekli önceden eğitilmiş modellerde performansın korunmasını veya iyileştirilmesini sağlarken eğitilebilir parametre sayısını ve GPU bellek kullanımını azaltır. TRL, LoRA'yı PEFT kütüphanesi aracılığıyla entegre eder ve herhangi bir TRL eğitimcisine peft_config argümanına bir LoraConfig geçirilerek kolayca etkinleştirilebilir. SFTTrainer ile LoRA kullanımına dair bir örnek aşağıdadır:
from trl import SFTTrainer
from peft import LoraConfig
trainer = SFTTrainer(
...,
peft_config=LoraConfig(),
)DoRA: Ağırlık-Ayrıştırılmış Düşük-Rütbe Uyarlaması
📜 Makale: https://huggingface.co/papers/2402.09353
Ağırlık-Ayrıştırılmış Düşük-Rütbe Uyarlaması (DoRA), özellikle düşük rütbelerde LoRA'nın performansını iyileştirebilir. DoRA, önceden eğitilmiş ağırlığı iki bileşene ayırır: büyüklük ve yön. Yön, normal LoRA ile ele alınırken büyüklük, öğrenilebilir parametrelerdir. TRL, DoRA'yı PEFT kütüphanesi aracılığıyla entegre eder ve LoraConfig'e use_dora=True ayarlayarak kolayca etkinleştirilebilir.
from peft import LoraConfig
config = LoraConfig(use_dora=True, ...)Reinforce Leave-One-Out
RLOOTrainer ile ilgili makaleler
Temellere Dönüş: LLM'lerde İnsan Geri Bildiriminden Öğrenme İçin REINFORCE Tarzı Optimizasyonu Yeniden Ziyaret
📜 Makale: https://huggingface.co/papers/2402.14740
RLOO, varyansını leave-one-out (biri hariç) baz çizgileri kullanarak azaltan REINFORCE'un bir varyantıdır. Her örneği, batch'teki diğer tüm örneklerin ortalamasıyla karşılaştırarak ödüllerini hesaplar ve standart REINFORCE'a göre daha kararlı gradyanlar sağlar. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl import RLOOConfig
training_args = RLOOConfig(
per_device_train_batch_size=512, # section C Training Detail of the paper
steps_per_generation=2, # section C Training Detail of the paper
beta=0.03, # section C Training Detail of the paper
num_generations=2, # experiments of paper different num_generations={2,4}
learning_rate=1e-6, # section C Training Detail of the paper
)REINFORCE++: Büyük Dil Modellerini Hizalandırmak İçin Basit ve Verimli Bir Yaklaşım
📜 Makale: https://huggingface.co/papers/2501.03262
REINFORCE++, klasik REINFORCE algoritmasının, PPO’dan temel optimizasyon tekniklerini birleştirirken eleştirmen (critic) ağı ihtiyacını ortadan kaldıran geliştirilmiş bir varyantıdır. Tüm batch üzerinden küresel avantaj normalizasyonu yoluyla basitlik, artırılmış eğitim kararlılığı ve azaltılmış hesaplama yükü sağlar. Makalenin ayarlarını RLOOTrainer ile yaklaşık olarak modellemek için bu yapılandırmayı kullanın:
from trl import RLOOConfig
training_args = RLOOConfig(
normalize_advantages=True, # global advantage normalization, core of REINFORCE++
)Odds Oranı Tercih Optimizasyonu
experimental.orpo.ORPOTrainer ile ilgili makaleler
ORPO: Referans Model Olmadan Monolitik Tercih Optimizasyonu
📜 Makale: https://huggingface.co/papers/2403.07691
Referans model gerektirmeyen monolitik olasılık oranı tercih optimizasyonu algoritmasının (ORPO) tanıtılması, denetimli ince ayar sırasında tercih hizalamasını artırarak ana değerlendirmelerde daha büyük modelleri geride bırakmaktadır. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl.experimental.orpo import ORPOConfig
training_args = ORPOConfig(
beta=0.1, # λ odds ratio loss weight (Table 7 of the paper, Mistral-ORPO-β)
learning_rate=5e-6, # learning rate (Appendix C of the paper)
lr_scheduler_type="inverse_sqrt", # scheduler (Appendix C of the paper)
num_train_epochs=5, # Appendix C of the paper
warmup_steps=200, # warm-up steps (Appendix C of the paper)
per_device_train_batch_size=8, # batch size (Appendix C of the paper)
)Karşılaştırmalı Tercih Optimizasyonu
experimental.cpo.CPOTrainer ile ilgili makaleler
Karşılaştırmalı Tercih Optimizasyonu: Makine Çevirisinde LLM Performansının Sınırlarını Zorlamak
📜 Makale: https://huggingface.co/papers/2401.08417
Karşılaştırmalı Tercih Optimizasyonu'nu (CPO) tanıtır; bu, makine çevirisinde tercih tabanlı bir yöntemdir ve SFT'de olduğu gibi referansları taklit etmek yerine, modellerin yeterli ama mükemmel olmayan çevirilerden kaçınmasını sağlar. Makale, MT'de SFT'nin sınırlılıklarını (referans kalitesi sorunları dahil) analiz eder ve yalnızca 22K paralel cümleyle ALMA'ya CPO uygulanmasının, WMT’21–WMT’23'te WMT yarışma kazananları ve GPT-4 ile eşleşen veya onları aşan ALMA-R'ı ürettiğini gösterir. TRL'de experimental.cpo.CPOTrainer üzerinden kullanılır. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl.experimental.cpo import CPOConfig
training_args = CPOConfig(
loss_type="sigmoid", # preference learning loss (Section 3 of the paper)
cpo_alpha=1.0, # NLL regularizer weight (Section 3 of the paper)
beta=0.1, # β temperature (Section 4.2 of the paper)
learning_rate=1e-4, # learning rate (official code)
lr_scheduler_type="inverse_sqrt", # scheduler (official code)
num_train_epochs=1, # Section 4.2 of the paper
warmup_ratio=0.01, # warm-up ratio (Section 4.2 of the paper)
max_length=512, # max sequence length (Section 4.2 of the paper)
)SimPO: Referanssız Ödülle Basit Tercih Optimizasyonu
📜 Makale: https://huggingface.co/papers/2405.14734
SimPO, bir dizinin ortalama log olasılığını örtük ödül olarak kullanarak referans modele olan ihtiyacı ortadan kaldıran, daha basit ama daha etkili bir tercih optimizasyonu yaklaşımıdır. Kazanan ve kaybeden yanıtlar arasındaki farkı artırmak için Bradley-Terry hedefine bir hedef ödül marjı ekler. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl.experimental.cpo import CPOConfig
training_args = CPOConfig(
loss_type="simpo", # SimPO loss (Section 3 of the paper)
cpo_alpha=0.0, # no BC regularizer for SimPO
beta=2.5, # β in Appendix B of the paper
simpo_gamma=1.375, # γ target reward margin, from γ/β=0.55 in Appendix B of the paper
learning_rate=1e-6, # learning rate in Appendix B of the paper
num_train_epochs=1, # Appendix B of the paper
)AlphaPO — LLM hizalama için ödül şekli önemlidir
📜 Makale: https://huggingface.co/papers/2501.03884
AlphaPO, standart log ödülün ötesinde ödül fonksiyonunun şeklini değiştirmeye yardımcı olmak için bir alfa parametresinden yararlanan yeni bir Doğrudan Hizalama Algoritmaları (DAAs) yöntemidir. AlphaPO, olasılık kayması ve aşırı optimizasyon üzerinde ince taneli kontrolü korumaya yardımcı olur. Makalenin ayarlarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl.experimental.cpo import CPOConfig
# Mistral-Instruct from Table 3 of the paper
training_args = CPOConfig(
loss_type="alphapo",
alpha=0.25,
beta=2.5,
simpo_gamma=0.1,
learning_rate=7e-7,
...
)Üçlü Tercih Optimizasyonu
Üçlü Tercih Optimizasyonu: Tek Adımlı Optimizasyon ile Daha İyi Hizalama
📜 Makale: https://huggingface.co/papers/2405.16681
Triple Preference Optimization (TPO) adlı bir tercih öğrenme yöntemini tanıtır. Bu yöntem, bir LLM'yi her istem için üç yanıtla hizalar: altın (reference) tamamlama, tercih edilen (chosen) tamamlama ve tercih edilmeyen (rejected) tamamlama — tüm bunları tek bir optimizasyon adımında gerçekleştirir. TPO, (chosen, rejected) çifti üzerinde bir kontrastif hedef ile altın yanıt üzerinde bir denetimli NLL terimini birleştirir; bu sayede ayrı bir SFT aşamasına ve DPO'da kullanılan referans modele ihtiyaç duyulmaz. TRL, v1.16'ya kadar bir uygulamayı TPOTrainer olarak yayımlamıştır; bu uygulama artık kütüphanenin bir parçası değildir ve git geçmişinde erişilebilir kalmaktadır.
İnsan Geri Bildiriminden Nash Öğrenimi
İnsan Geri Bildiriminden Nash Öğrenimi
📜 Makale: https://huggingface.co/papers/2312.00886
Nash-MD'yi tanıtır; standart RLHF'nin bir alternatifi olarak iki girdiye koşullu bir tercih modeli öğrenir ve Nash denge noktasında bir politika bulur. Bir ödül modeline karşı optimize etmek yerine, Nash-MD, rakip herhangi bir politikanınkilerden daha çok tercih edilen yanıtları tutarlı bir şekilde üreten politikalar üretir. Algoritma, ayna inişi (mirror descent) ilkelerine dayanır. TRL, v1.13'e kadar bir uygulamayı NashMDTrainer olarak yayımlamıştır; artık kütüphanenin bir parçası değildir ve git geçmişinde erişilebilir kalmaktadır.
Ödül Modelleme
RewardTrainer ile ilgili makaleler
Yardım mı, sürü mü? Ödül Modeli Toplulukları Ödül Hırsızlığını Azaltır ama Tamamen Gidermez
📜 Makale: https://huggingface.co/papers/2312.09244
Bu makale, merkezlenmiş bir ödül modelini doğrudan öğrenmek için tasarlanmış bir yardımcı kayıp fonksiyonu önermiştir. Bu yardımcı kayıp, ödüllerin kare toplamını en aza indirerek modelin doğal olarak ortalama sıfır çıktı üretmesini teşvik eder ve böylece belirsizlik sorununu çözer.
Bu yardımcı kaybı RewardTrainer ile kullanmak için RewardConfig içindeki center_rewards_coefficient argümanını aşağıdaki gibi kullanabilirsiniz:
from trl import RewardConfig
training_args = RewardConfig(
center_rewards_coefficient=0.01, # η in the paper
...
)Llama 2: Açık Temel ve İnce Ayarlı Sohbet Modelleri
📜 Makale: https://huggingface.co/papers/2307.09288
Bu makalede yazarlar, tercih puanlarının dört noktalı bir ölçek olarak (örneğin, belirgin şekilde daha iyi) ) ayrıştırılmasını kullanarak ödül modeline daha bilgilendirici geri bildirim sağlamayı önermektedir. Bu, kayıp fonksiyonuna bir pay (margin) eklenerek yapılır; bu da ödül modelinin, daha yüksek tercih puanına sahip çiftler için puanlarda daha büyük farklar atamasını teşvik eder.
Veri setine margin sütunu ekleyerek kayba bir pay (margin) ekleyebilirsiniz. Aşağıdaki örnek, makalenin “Margin Small” ayarının nasıl yapılandırılacağını göstermektedir.
def add_margin(example):
preference_to_margin = {
"significantly better": 1.0,
"better": 2.0/3.0,
"slightly better": 1.0/3.0,
"negligibly better / unsure": 0.0,
}
return {"margin": preference_to_margin[example["preference_label"]]}
dataset = dataset.map(add_margin)Çevrimiçi Doğrudan Tercih Optimizasyonu
experimental.online_dpo.OnlineDPOTrainer ile ilgili makaleler
Çevrimiçi Yapay Zeka Geri Bildiriminden Doğrudan Dil Modeli Hizalama
📜 Makale: https://huggingface.co/papers/2402.04792
Online DPO, bir modelden gerçek zamanlı geri bildirim sağlayarak tercihlerden doğrudan hizalama yöntemlerini iyileştirir ve hem DPO hem de PPO yöntemlerinden daha iyi performans gösterir.
Online DPO kullanmak için experimental.online_dpo.OnlineDPOTrainer sınıfını kullanabilirsiniz.
Keşifçi Tercih Optimizasyonu: Örnek Verimli RLHF İçin Gizli Q*-Yaklaşımından Yararlanma
📜 Makale: https://huggingface.co/papers/2405.21046
XPO, DPO hedefini yeni ve ilkeli bir keşif bonusu ile güçlendirerek algoritmanın başlangıç modelinin ve insan geri bildirim verisinin desteğinin dışına çıkarak keşif yapmasını sağlar. Online DPO'da tek satırlık bir değişikliktir ve kanıtlanabilir şekilde örnek verimli olup neredeyse optimal bir dil modeli politikasına yakınsar. TRL, v1.13'e kadar bir uygulamayı XPOTrainer olarak yayımlamıştır; artık kütüphanenin bir parçası değildir ve git geçmişinde erişilebilir kalmaktadır.
Damıtma
Bir öğretmen modelinin yardımıyla bir öğrenci modeli eğitmeye ilişkin makaleler.
Dil Modellerinin Politik Üzeri Damıtması: Kendi Ürettiği Hatalardan Öğrenme
📜 Makale: https://huggingface.co/papers/2306.13649
Genelleştirilmiş Bilgi Damıtımı (GKD) tanıtır; otoregresif modellerde KD için dağılım uyumsuzluğunu, öğrencinin sabit bir dizi kümesi yerine kendi ürettiği çıktılarda öğretmen geri bildirimiyle eğitilmesiyle ele alır. GKD, esnek kayıp fonksiyonlarını (ör. öğrenci öğretmene uyum sağlayamadığında KL'nin ötesinde) destekler ve RL ince ayarı (RLHF) ile bütünleşir. Makale, özetleme, çeviri, aritmetik akıl yürütme ve talimat ayarı üzerinde sonuçlar raporlar. TRL'de, makalenin on/off-policy karışımını (lmbda) açıklayan experimental.gkd.GKDTrainer üzerinden kullanılır. DistillationTrainer, her zaman on-policy durumu için aynı genelleştirilmiş-JSD hedefini uygular. Makalenin ayarını yeniden üretmek için bu yapılandırmayı kullanın:
from trl.experimental.gkd import GKDConfig
# XSum summarization task (Table A.1 of the paper)
training_args = GKDConfig(
lmbda=0.5, # λ student data fraction (Section 3 of the paper)
beta=0.5, # β Generalized JSD interpolation, 0=KL, 1=reverse KL (Section 3 of the paper)
temperature=1.0, # student training temperature (Appendix A of the paper)
max_steps=40000, # training steps (Table A.1 of the paper)
learning_rate=3e-4, # learning rate (Table A.1 of the paper)
per_device_train_batch_size=32, # batch size (Table A.1 of the paper)
warmup_steps=2000, # warm-up steps (Table A.1 of the paper)
max_new_tokens=64, # max output tokens (Table A.1 of the paper)
)MOPD: LLM Son Eğitiminde Yetenek Entegrasyonu için Çoklu Öğretmenli Politikada Distilasyon
📜 Makale: https://huggingface.co/papers/2606.30406
Eğitim sonrası süreci üç aşamada yapılandırır: genel SFT, her alan için bir uzman olacak şekilde bağımsız alan bazlı RL eğitimi (ör. matematik için doğrulanabilir cevap RL, yazılım mühendisliği için sandbox'lu ajan RL) ve dondurulmuş alan uzmanlarını tek bir birleşik öğrenciye dönüştüren son MOPD aşaması. Bu son aşamada, öğrenci her prompt için bir yörünge üretir, her yörünge ilgili alan öğretmenine yönlendirilir (öğretmenler arasında asla ortalama veya ensemble yapılmaz) ve öğrenci, yörünge boyunca o tek öğretmenin dağılımına karşı token başına ters KL'yi minimize ederek güncellenir. TRL'de, bu üçüncü, füzyon aşamasını uygulayan experimental.async_distillation.AsyncDistillationTrainer ile kullanılır: teacher_server_urls içinde birden fazla girdi geçmek MOPD'yi etkinleştirir ve her satırın teacher_id sütunu, o satırı puanlayan (zaten eğitilmiş) öğretmeni seçer. Kâğıttaki ters-KL hedefiyle eşleşmek için beta=1.0 kullanın.
Politika Üzeri Damıtmanın Konum Yanlılığı
📜 Makale: https://huggingface.co/papers/2606.22600
Önem Ağırlıklı On-Policy Distillation (IW-OPD) tanıtır; bu yöntem, örneklenen token distillation güncellemelerini birikimli öğretmen-öğrenci önek farkına göre yeniden ağırlıklandırarak OPD'deki konum önyargısını ele alır. Erken tokenlar daha büyük ağırlıkları korurken, yüksek sapma sonrası gelen geç tokenlar ağırlıkları azaltılır. TRL'de experimental.iw_opd.IWOPDTrainer ile distillation_objective="iw_opd" parametresi kullanılarak uygulanır.
Makale, IW-OPD'yi kırpılmış politika-gradyanı kurulumu (verl) ve vLLM rollouts ile optimize eder. IWOPDTrainer, aşağıdaki eşleşen distillasyon ve rollout ayarlarını açığa çıkarır; makaleden politika-optimizasyonu ayarları olan kırpma aralığı 0.2, çift-kırpma sabiti 3.0, iç PPO epoch'ları, entropi katsayısı, KL ödül cezası, yardımcı KL ve rollout önem düzeltmesi IWOPDConfig parametreleri değildir.
from trl.experimental.iw_opd import IWOPDConfig
# Table 6 and Algorithm 1 of the paper, mapped to IWOPDConfig where available.
training_args = IWOPDConfig(
distillation_objective="iw_opd",
iw_opd_gamma=0.5, # γ amplification, Algorithm 1 and Appendix C.3
lmbda=1.0, # fully on-policy rollouts
learning_rate=1e-5, # Table 6
per_device_train_batch_size=1, # Table 6 uses PPO micro-batch size 1 per GPU
gradient_accumulation_steps=32, # with 32 GPUs, this gives the paper's 1024-prompt batch
num_generations=1, # Table 6 rollout samples per prompt
temperature=1.0, # Table 6 training decoding temperature
top_p=1.0, # Table 6 training decoding top-p
max_prompt_length=2048, # Table 6
max_completion_length=16384, # Table 6
warmup_ratio=0.0, # Table 6
use_vllm=True, # Table 6 uses vLLM rollouts
vllm_sync_frequency=1, # refresh rollout policy after each update
save_steps=10, # Table 6 checkpoint frequency
eval_steps=10, # Table 6 validation frequency
)On-Policy Distillation
📰 Blog: https://thinkingmachines.ai/blog/on-policy-distillation/
On-Policy Distillation, öğrenci modelinin eğitim verisinin her partisi için rollout üretmesini içerir. Ardından, rollout'ların her token'ı için hem öğrenci hem de öğretmen modellerinden olasılık dağılımlarını elde ederiz. Öğrenci modeli, kendi token dağılımları ile öğretmen modelininkiler arasındaki negatif Kullback-Leibler (KL) sapmasını en aza indirecek şekilde optimize edilir.
| Yöntem | Örnekleme | Ödül sinyali |
|---|---|---|
| Gözetimli ince ayar | off-policy | dense |
| Pekiştirmeli öğrenme | on-policy | sparse |
| On-policy damıtma | on-policy | dense |
On-Policy Distillation'ın SFT ve GRPO'dan daha iyi performans gösterdiği ve SFT sırasında kaybedilen genelleme yeteneklerini geri getirmek için kullanılabildiği gösterilmiştir.
Ayrıca, on-policy distillation, sınırlı veriyle eğitildiğinde daha az hesaplama kaynağı gerektirir ve aşırı öğrenmeye daha az yatkındır.
TRL ile on-policy distillation kullanarak bir model eğitmek için DistillationTrainer ve DistillationConfig ile aşağıdaki yapılandırmayı kullanabilirsiniz:
from trl import DistillationConfig
training_args = DistillationConfig(
beta=1.0, # to ensure reverse-kl as the loss function
teacher_model_name_or_path="teacher-model", # specify the teacher model
)Alternatif olarak, experimental.gkd.GKDTrainer ve experimental.gkd.GKDConfig kullanabilirsiniz:
from trl.experimental.gkd import GKDConfig
training_args = GKDConfig(
lmbda=1.0, # student produces rollouts for all batches
beta=1.0, # to ensure reverse-kl as the loss function
teacher_model_name_or_path="teacher-model", # specify the teacher model
)Ayrıca on-policy distillation için experimental.gold.GOLDTrainer sınıfını da kullanabilirsiniz; Unlocking On-Policy Distillation for Any Model Family başlıklı makaleye göz atın.
Herhangi Bir Model Ailesi İçin On-Policy Distillation'ın Kilidini Açma
🌐 Proje: https://huggingface.co/spaces/HuggingFaceH4/general-on-policy-logit-distillation
Genel Çevrimiçi Logit Damıtma (GOLD) yöntemini tanıtır; bu yöntem, on-policy damıtmayı farklı tokenizatorlara ve model ailelerine sahip öğrenci/öğretmen çiftlerine genişletir. GOLD, tokenizatorlar arasında metinsel aralıkları hizalar ve tamamlama tokenlarının düşmemesi için Evrensel Logit Damıtma (ULD) uygulayabilir. TRL içinde experimental.gold.GOLDTrainer üzerinden kullanılır.
from trl.experimental.gold import GOLDConfig
training_args = GOLDConfig(
lmbda=1.0, # student produces rollouts for all batches
beta=1.0, # to ensure reverse-kl as the loss function
use_uld_loss=True, # Universal Logit Distillation for cross-tokenizer pairs
)X-Token: Projeksiyon Rehberli Çapraz Tokenizer Bilgi Damıtması
📜 Makale: https://huggingface.co/papers/2605.21699
X-Token, GOLD damıtma çerçevesini ortak bir tokenizer paylaşmayan öğrenci-öğretmen çiftlerine genişletir. Bu bir off-policy yöntemidir (lmbda=0): veri seti tamamlama metnini sağlar, hem öğrenci hem de öğretmen bu metin üzerinde ileri geçişler çalıştırır ve cross-tokenizer KD kaybı, logitleri arasında hesaplanır. On-policy öğrenci roll-out'larına gerek yoktur. Ön hesaplanmış seyrek bir projeksiyon matrisi W ∈ ℝ^{V_s × V_t}, her öğrenci token'ını en olası karşılık geldiği öğretmen token'larına eşler ve öğrenci dağılımını öğretmen sözlük alanına projekte ederek ikisinin doğrudan karşılaştırılmasını sağlar. TRL'de experimental.gold.GOLDTrainer ile xtoken_loss_type="p_kl" veya "h_kl" kullanılarak uygulanır.
İki kayıp formülasyonu sunulmaktadır:
| Varyant | xtoken_loss_type | Açıklama |
|---|---|---|
| P-KL | "p_kl" | Tam öğrenci dağılımını W aracılığıyla öğretmen sözlüğüne yansıtır ve küresel bir top-k alt kümesi üzerinde ileri KL hesaplar. Makalenin Denklem (4)'ünü uygular. |
| H-KL | "h_kl" | Hibrit: gevşetilmiş ortak küme üzerindeki yeniden normalize edilmiş dağılımlar için ileri KL (top-1 projeksiyon ağırlığı ≥ 0.6) ve yaygın olmayan jetonlar için sıralı-L1. Denklem (3)'ü, Denklem (5)'ten gelen eşleme ile uygular. |
Referans uygulamada olduğu gibi, H-KL tam sözlük log-olasılıklarını ortak kümeye dilimler ve P-KL, yeniden normalize etmeden öğretmen log-olasılıklarını her aralık üzerinde ortalama alır; bu nedenle KD terimi negatif olabilir. CE ve KD, her birikim penceresi üzerinde ayrı ayrı token ve hizalı aralık sayıları kullanır. Dinamik CE/KD dengelemesi ve P-KL top-k seçimi, her mikrotoplu (microbatch) için hesaplanır.
Bu uygulama dondurulmuş bir projeksiyon matrisi kullanır. Makale, P-KL için matrisi ortak olarak öğrenir; bu varyant burada uygulanmamıştır.
Önce examples/xtoken/ içindeki hazırlık betikleriyle projeksiyon matrisini oluşturun. 1. adım, öğrenci sözlüğünü öğretmen tokenizer'ı ile yeniden tokenleştirir; isteğe bağlı --runtime-top-k bayrağı ise matrisi tek seferde sıralar ve kısaltır (sonradan sort_and_cut_projection_matrix.py çalıştırmakla eşdeğerdir):
python examples/xtoken/build_projection_matrix.py \
--student-model meta-llama/Llama-3.2-1B-Instruct \
--teacher-model Qwen/Qwen3-4B \
--runtime-top-k 4 \
--output-dir cross_tokenizer_dataArdından örnek betikle eğitin (off-policy, vLLM gerekmez):
python examples/xtoken/xtoken.py \
--model_name_or_path meta-llama/Llama-3.2-1B-Instruct \
--teacher_model_name_or_path Qwen/Qwen3-4B \
--dataset_name trl-lib/chatbot_arena_completions \
--xtoken_loss_type p_kl \
--xtoken_projection_matrix_path cross_tokenizer_data/projection_map_Llama-3.2_to_Qwen3_multitoken_top_32_double_special_top4.pt \
--lmbda 0.0veya experimental.gold.GOLDConfig yolunu doğrudan iletin:
from trl.experimental.gold import GOLDConfig
config = GOLDConfig(
lmbda=0.0, # "off-policy knowledge distillation"
xtoken_temperature=1.0, # "temperature τ=1.0"
xtoken_dynamic_scaling=True, # Eq. (7): stop-gradient CE/KD balance
xtoken_loss_type="p_kl",
xtoken_projection_matrix_path="cross_tokenizer_data/projection_map_Llama-3.2_to_Qwen3_multitoken_top_32_double_special_top4.pt",
teacher_tokenizer_name_or_path="Qwen/Qwen3-4B",
)Büyük Dil Modellerinin Bilgi Damıtması
📜 Makale: https://huggingface.co/papers/2306.08543
MiniLLM, öğretmen ve öğrenci modelleri arasındaki dizin düzeyindeki ters KLD'yi minimize eden ve pekiştirmeli öğrenme ile optimize edilen ilk politika içi bilgi damıtma yöntemidir.
Think Machine Lab’ın On-Policy Distillation yönteminin genelleştirilmiş bir versiyonudur; dağıtım düzeyinde tek adımlı distilasyon sinyalleri (beta=1 durumunda GKD gibi) ve uzun bağlam ters KLD sinyalleri ekleme seçeneği sunar.
TRL, v1.14'e kadar MiniLLMTrainer adında bir uygulama yayınlamıştır; bu uygulama artık kütüphanenin bir parçası değildir ve git geçmişinde erişilebilir kalmaktadır.
Kendine Öğretim ile Pekiştirmeli Öğrenme
📜 Makale: https://huggingface.co/papers/2601.20802
Kendinden Damıtma Politikası Optimizasyonu (SDPO), doğrulanabilir ödüllerle pekiştirmeli öğrenmeyi, zengin metinsel geri bildirimleri (ör. çalışma zamanı hataları, yargı değerlendirmeleri) harici bir öğretmen veya açık bir ödül modeli olmadan yoğun bir öğrenme sinyaline dönüştürerek geliştirir. SDPO, geri bildirimle koşullandırılmış mevcut modeli bir kendinden-öğretmen olarak ele alır ve geri bildirimle bilgilendirilmiş sonraki token tahminlerini politika içine damıtır. Önemli olan, SDPO'nun yalnızca skaler geri bildirim döndüren standart RLVR ortamlarında da, başarılı yuvarlamaları başarısız denemeler için örtük geri bildirim olarak kullanarak baz çizgilerden daha iyi performans göstermesidir.
from trl.experimental.sdpo import SDPOConfig, SDPOTrainer
training_args = SDPOConfig(
distillation_alpha=0.5, # Jensen-Shannon divergence (recommended)
distillation_mode="topk_logits", # Explicitly select top-K logit distillation
distillation_topk=100, # Required for top-K logit distillation
distillation_is_clip=2.0, # Importance sampling clipping
distillation_weight=1.0, # Convex weight: (1-w)*policy + w*distillation; 1.0 = pure distillation
use_successful_as_teacher=True, # Use successful rollouts as teacher
teacher_model_kind="ema", # Supported: "base", "live", "ema"
teacher_update_rate=0.05, # EMA update rate
include_environment_feedback=True, # required to use the dataset's privileged_context (defaults to False)
)
trainer = SDPOTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
reward_funcs=...,
args=training_args,
train_dataset=...,
)
trainer.train()Beklenen veri seti sütunları:
prompt- isteğe bağlı ortam geri bildirimi için
privileged_context
Daha fazla ayrıntı için SDPO Trainer belgeleri'ne bakın.
Öz-Distileme Sürekli Öğrenmeyi Mümkün Kılar
📜 Makale: https://huggingface.co/papers/2601.19897
Kendinden Damıtılmış İnce Ayar (SDFT), eğitim sırasında tamamlamalar üreterek politika üzerinde kendinden damıtma gerçekleştirir ve ardından bu tamamlamaların açık bir öğretmen koşullu görünümünü öğrenciye geri damıtır. Öğretmen, teacher_model_kind ile seçilir: "base" (başlangıç öğrencisi), "live" (mevcut öğrenci) veya "ema" (üstel ortalama alınmış öğretmen). Öğretmen istemi, öğrenci prompt ile veri seti privileged_context içinden içsel olarak oluşturulur.
from datasets import Dataset
from trl.experimental.sdft import SDFTConfig, SDFTTrainer
dataset = Dataset.from_dict(
{
"prompt": [[{"role": "user", "content": "Solve 2+2."}]],
"privileged_context": ["Example answer: 4."],
}
)
training_args = SDFTConfig(
distillation_alpha=0.5,
distillation_mode="topk_logits",
distillation_topk=5,
max_completion_length=64,
)
trainer = SDFTTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
args=training_args,
train_dataset=dataset,
)
trainer.train()Beklenen veri seti sütunları:
prompt- sadece ek öğretmen-only bilgilerini içeren
privileged_context
Daha fazla ayrıntı için SDFT Trainer belgeleri'ne bakın.
Utopya Basit Kendi Kendine Öğretim Kod Üretimini İyileştirir
📜 Makale: https://huggingface.co/papers/2604.01193
Basit Kendi Kendine Damıtma (SSD), eğitim sırasında modelden bir sıcaklık ve kesme yapılandırmasıyla tamamlamalar örnekleyerek ve ardından standart çapraz entropi kaybıyla bu ham, doğrulanmamış örnekler üzerinde ince ayar yaparak kod üretimini iyileştirir. Ödül modeli, doğrulayıcı, öğretmen modeli veya pekiştirmeli öğrenme gerekmez. SSD, belirleyici dağılımları bağlama bağımlı bir şekilde yeniden şekillendirir: sözdiziminin az belirsizlik bıraktığı “kilit” konumlarında dikkat dağıtıcı kuyrukları bastırırken, birden fazla geçerli devamın mümkün olduğu “çatal” konumlarında çeşitliliği korur.
TRL, v1.15'e kadar SSDTrainer olarak bir uygulama yayınlamıştır; bu artık kütüphanenin bir parçası değildir ve git geçmişinde erişilebilir kalmaktadır.
Softmax ve Çapraz Entropi İçin Bir Düzeltme
📜 Makale: https://huggingface.co/papers/2610.31642
Yüksek güvenliğe sahip tahminlerde softmax çökmesini ve öğrenci ile öğretmen logitlerinin neredeyse eşleştiği durumlarda iptali tespit eder. TRL’nin parçalı log-olasılık ve damıtma başlıkları, küçük gradyanları korumak için hedef hariç normalizasyon ve log-uzay olasılık farklarını kullanır. Sayısal düzeltmeler, DistillationTrainer içindeki ileri KL, ters KL ve genelleştirilmiş JSD dahil olmak üzere otomatik olarak uygulanır.
Entropy-preserving reinforcement learning makalesinin B.4 ek bölümü, yüksek güvene dayalı policy-gradient başarısızlığını daha önce tespit etmiş ve FP64'te seçici olarak gradyanların yeniden hesaplanmasını önermişti. TRL çekirdekleri, bu gradyanları kararlı FP32 formüllerini kullanarak korur.
Ek B.1'de tartışılan ayrı FSDP2 çıktı dökümü (output-casting) sorunu, Accelerate #4403 ile ele alınmıştır. Eski Accelerate sürümleri, FP32 çekirdek çıktılarını korumak için output_dtype=None içeren karma hassasiyet (mixed precision) politikasına ihtiyaç duyar.
Aşağıdaki örnek, Bölüm 7'de raporlanan hiperparametreleri, yumuşak hedef çapraz entropisinin öğrenci gradyanını paylaşan TRL'nin ileri-KL hedefine eşler. Bu örnek, makalenin modüler aritmetik deneyini yeniden üretmekten ziyade dil modeli damıtma işlemini göstermektedir. Makalede öğrenci, öğretmenin ağırlıklarıyla başlatılır; bu, yapılandırma dosyasından bağımsız olarak modeller oluşturulurken ele alınmalıdır. Diğer eğitimci varsayılanları değiştirilmeden kalır.
from trl import DistillationConfig
training_args = DistillationConfig(
beta=0.0, # Forward KL has the same student gradient as soft-target cross-entropy.
temperature=4.0, # "distillation temperature T=4"
learning_rate=2e-3, # "eta=2 x 10^-3"
lr_scheduler_type="constant",
optim="adamw_torch", # AdamW with zero weight decay has the same updates as Adam.
weight_decay=0.0, # "lambda=0"
adam_epsilon=1e-8, # "epsilon=10^-8"
max_steps=2000, # "2,000 steps of Adam"
)Dağıtık Eğitim
ZeRO: Trilyon Parametreli Modellerin Eğitimi İçin Bellek Optimizasyonları
📜 Makale: https://huggingface.co/papers/1910.02054
ZeRO (Zero Redundancy Optimizer), optimizör durumlarını, gradyanları ve parametreleri cihazlar arasında bölerek veri ve model paralel eğitimindeki bellek gereksiz tekrarlarını ortadan kaldırır; bu sırada düşük iletişim hacmini ve yüksek hesaplama granülerliğini korur. Bu sayede, aksi halde GPU belleğine sığmayacak büyük modellerin verimli bir şekilde eğitilmesi mümkün olur.
TRL, DeepSpeed entegrasyonu aracılığıyla ZeRO'yu destekler. Bunu kullanmak için, istediğiniz ayarları içeren bir DeepSpeed yapılandırma dosyası sağlayın,
{
"zero_optimization": {"stage": 3},
"bf16": {"enabled": "auto"},
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto"
}Eğitim yapılandırmasında deepspeed="zero3.json" değerini ayarlayın ve eğitim betiğini torchrun ile başlatın.
torchrun --nproc_per_node 2 train.py