TRL documentation
A2PO
A2PO
يدعم TRL خوارزمية A*-PO (الانحدار الأمثل للميزة) كما هو موصوف في ورقة تسريع التعلم المعزز للاستدلال في نماذج اللغة الكبيرة باستخدام الانحدار الأمثل للميزة التي كتبها Kianté Brantley وMingyu Chen وZhaolin Gao وJason D. Lee وWen Sun وWenhao Zhan وXuezhou Zhang.
المستخلص من الورقة البحثية هو كالتالي:
برز تعلّم التعزيز (RL) كأداة قوية لضبط نماذج اللغة الكبيرة (LLMs) لتحسين قدرات الاستدلال المعقدة. ومع ذلك، فإنّ أحدث طرق تحسين السياسات غالبًا ما تعاني من أعباء حسابية عالية واستهلاك كبير للذاكرة، وذلك بشكل رئيسي بسبب الحاجة إلى توليدات متعددة لكل موجه، والاعتماد على شبكات النقد أو تقديرات الميزة للسياسة الحالية. في هذه الورقة، نقترح A*-PO، وهو إطار عمل جديد من مرحلتين لتحسين السياسات يقوم بتقريب دالة الميزة المثلى مباشرةً، ويتيح تدريبًا فعّالًا لنماذج اللغة الكبيرة (LLMs) لمهام الاستدلال. في المرحلة الأولى، نستفيد من أخذ العينات غير المتصلة من سياسة مرجعية لتقدير دالة القيمة المثلى V*، مما يلغي الحاجة إلى تقدير القيمة المتصل المكلف. في المرحلة الثانية، نقوم بإجراء تحديثات على السياسة باستخدام خسارة انحدار مربعات دنيا بسيطة مع توليد واحد فقط لكل موجه. من الناحية النظرية، نؤسس ضمانات للأداء ونثبت أنّ هدف تعلّم التعزيز المنتظم بـ KL يمكن تحسينه دون الحاجة إلى استراتيجيات استكشاف معقدة. تجريبيًا، يحقق A*-PO أداءً تنافسيًا عبر مجموعة واسعة من معايير الاستدلال الرياضي، مع تقليل وقت التدريب بنسبة تصل إلى 2× واستخدام الذروة للذاكرة بنسبة تتجاوز 30% مقارنةً بـ PPO وGRPO وREBEL.
الاستخدام
يفترض A*-PO مكافأة ثنائية قابلة للتحقق (r ∈ {0, 1}) ويعمل في مرحلتين:
- تقدير القيمة دون اتصال. قبل التدريب، يتم أخذ عينات من
num_value_samplesمن المكملات من سياسة المرجع لكل موجه، وتُقيَّم باستخدامreward_funcs. ثم يُقدَّر ويُخزَّن مؤقتًا لكل موجه القيمة المثلىV*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁)). - الانحدار على السياسة. أثناء التدريب، يتم توليد إكمال واحد لكل موجه من السياسة الحالية. الخسارة هي الخطأ المربع بين المكافأة الضمنية
β₂·log(π(y|x)/π_ref(y|x))والميزة المثلىr(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer
# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]
training_args = A2POConfig(
output_dir="Qwen2.5-0.5B-A2PO",
num_value_samples=8, # Stage 1: samples per prompt from the reference policy to estimate V*
beta1=0.5, # Stage 1: KL temperature for the V* estimate
beta2=1e-3, # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
model="Qwen/Qwen2.5-0.5B",
reward_funcs=reward_correct,
args=training_args,
train_dataset=...,
)
trainer.train()بما أن V* يُقدَّر بالكامل من عينات سياسة المرجع، فإن A*-PO لا يمكن أن يتجاوز Pass@K الخاص بسياسة المرجع. يمكن العثور على التنفيذ الرسمي في ZhaolinGao/A-PO.
A2POTrainer
فئة trl.experimental.a2po.A2POTrainer
< source >( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )
المعاملات
- model (
PreTrainedModelأوstr) — النموذج المراد تدريبه، أو معرّف النموذج (نص) الذي يُمرَّر إلى from_pretrained. - reward_funcs (
Callableأوlist[Callable]) — دالة أو دوال المكافأة. تستقبل كل دالةpromptsوcompletions(بالإضافة إلى أعمدة مجموعة البيانات كحجج بكلمات مفتاحية) وتعيد قائمة من المكافآت العشرية. عند توفير عدة دوال، يكون مجموعها المرجح (انظرA2POConfig.reward_weights) هو المكافأة القياسيةr، والتي يفترض A*-PO أنها ثنائية (في{0, 1}). - args (experimental.a2po.A2POConfig، اختياري) —
إعدادات لهذا المدرب. إذا كانت
None، يتم استخدام إعداد افتراضي. - train_dataset (Dataset، اختياري) —
مجموعة بيانات التدريب. يجب أن تحتوي على عمود
"prompt". - eval_dataset (Dataset، اختياري) — مجموعة بيانات التقييم.
- processing_class (PreTrainedTokenizerBase، اختياري) —
فئة المعالجة المستخدمة لمعالجة البيانات. إذا كانت
None، يتم تحميلها من اسم النموذج باستخدام from_pretrained. - callbacks (
list[~transformers.TrainerCallback], اختياري) — قائمة من الاستدعاءات (callbacks) لتخصيص حلقة التدريب. - optimizers (
tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], اختياري، القيمة الافتراضية(None, None)) — مجموعة (Tuple) تحتوي على المُحسِّن (optimizer) ومجدول معدل التعلم (learning rate scheduler).
مدرّب لطريقة A*-PO (انحدار الميزة الأمثل)، التي عُرضت في تسريع التعلم المعزز لاستدلال نماذج اللغة الكبيرة باستخدام انحدار الميزة الأمثل.
يعمل A*-PO في مرحلتين:
- تقدير القيمة دون اتصال. قبل التدريب، يتم أخذ عينات من
num_value_samplesمن المكملات من سياسة المرجع لكل موجه تدريب وتقييمها باستخدامreward_funcs. يتم تقدير القيمة المثلى على أنهاV*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))وتخزينها مؤقتًا لكل موجه. - الانحدار على السياسة. أثناء التدريب، يتم توليد إكمال واحد لكل موجه من السياسة الحالية.
الخسارة هي الخطأ المربع بين المكافأة الضمنية
beta2 * log(pi(y|x) / pi_ref(y|x))وتقدير الامتياز الأمثلr(x, y) - V*(x).
سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().
سيتم الحفظ من العملية الرئيسية فقط.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
المعاملات
- commit_message (
str، اختياري، الافتراضي"End of training") — الرسالة التي تُرسل عند الدفع. - blocking (
bool، اختياري، الافتراضيTrue) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمالgit push. - token (
str، اختياري، القيمة الافتراضيةNone) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer. - revision (
str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”. - private (
bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هيargs.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا. - kwargs (
dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى~Trainer.create_model_card.
ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.
A2POConfig
فئة trl.experimental.a2po.A2POConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )
المعاملات التي تتحكم في النموذج ونموذج المرجع
- model_init_kwargs (
dict[str, Any], اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عندما يُقدَّم معاملmodelالخاص بـ experimental.a2po.A2POTrainer كنص. كما يُستخدم قيمةrevisionعند تحميل فئة المعالجة. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained.
المعاملات التي تتحكم في معالجة البيانات المسبقة
- remove_unused_columns (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان يجب الإبقاء على العمود"prompt"فقط في مجموعة البيانات. إذا كنت تستخدم دالة مكافأة مخصصة تتطلب أي عمود غير"prompts"و"completions"، فيجب عليك إبقاء هذا الإعداد علىFalse.
المعاملات التي تتحكم في التوليد
- max_prompt_length (
intأوNone، اختياري، القيمة الافتراضية512) — الحد الأقصى لطول الموجه. إذا كان الموجه أطول من ذلك، يتم اقتطاعه من اليسار. - max_completion_length (
intأوNone، اختياري، القيمة الافتراضية256) — الحد الأقصى لطول الإكمال المولّد. - temperature (
float، اختياري، القيمة الافتراضية1.0) — درجة حرارة العينة، تُستخدم في كلٍّ من مرحلة التوليد الأولى والمرحلة الثانية. - top_p (
float، اختياري، القيمة الافتراضية1.0) — قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على1.0لاعتبار جميع الرموز. - top_k (
intأوNone، اختياري) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها. إذا كانتNone، يتم تعطيل التصفية حسب أعلى k.
المعاملات التي تتحكم في المرحلة 1 (تقدير القيمة المثلى دون اتصال)
- num_value_samples (
int، اختياري، القيمة الافتراضية8) — عدد العينات المسحوبة من سياسة المرجع لكل موجه لتقديرV*. - beta1 (
float، اختياري، القيمة الافتراضية0.5) — درجة حرارة KL المستخدمة لتقديرV*في المرحلة 1. - filter_all_incorrect (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم استبعاد الأوامر التي تكون جميع عينات المرجع الخاصة بها غير صحيحة.
المعاملات التي تتحكم في المرحلة 2 (الانحدار على السياسة)
فئة التهيئة الخاصة بـ experimental.a2po.A2POTrainer.
تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب A2PO. للحصول على قائمة كاملة بحجج التدريب، يرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.