TRL documentation

A2PO

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

A2PO

model badge

يدعم TRL خوارزمية A*-PO (الانحدار الأمثل للميزة) كما هو موصوف في ورقة تسريع التعلم المعزز للاستدلال في نماذج اللغة الكبيرة باستخدام الانحدار الأمثل للميزة التي كتبها Kianté Brantley وMingyu Chen وZhaolin Gao وJason D. Lee وWen Sun وWenhao Zhan وXuezhou Zhang.

المستخلص من الورقة البحثية هو كالتالي:

برز تعلّم التعزيز (RL) كأداة قوية لضبط نماذج اللغة الكبيرة (LLMs) لتحسين قدرات الاستدلال المعقدة. ومع ذلك، فإنّ أحدث طرق تحسين السياسات غالبًا ما تعاني من أعباء حسابية عالية واستهلاك كبير للذاكرة، وذلك بشكل رئيسي بسبب الحاجة إلى توليدات متعددة لكل موجه، والاعتماد على شبكات النقد أو تقديرات الميزة للسياسة الحالية. في هذه الورقة، نقترح A*-PO، وهو إطار عمل جديد من مرحلتين لتحسين السياسات يقوم بتقريب دالة الميزة المثلى مباشرةً، ويتيح تدريبًا فعّالًا لنماذج اللغة الكبيرة (LLMs) لمهام الاستدلال. في المرحلة الأولى، نستفيد من أخذ العينات غير المتصلة من سياسة مرجعية لتقدير دالة القيمة المثلى V*، مما يلغي الحاجة إلى تقدير القيمة المتصل المكلف. في المرحلة الثانية، نقوم بإجراء تحديثات على السياسة باستخدام خسارة انحدار مربعات دنيا بسيطة مع توليد واحد فقط لكل موجه. من الناحية النظرية، نؤسس ضمانات للأداء ونثبت أنّ هدف تعلّم التعزيز المنتظم بـ KL يمكن تحسينه دون الحاجة إلى استراتيجيات استكشاف معقدة. تجريبيًا، يحقق A*-PO أداءً تنافسيًا عبر مجموعة واسعة من معايير الاستدلال الرياضي، مع تقليل وقت التدريب بنسبة تصل إلى 2× واستخدام الذروة للذاكرة بنسبة تتجاوز 30% مقارنةً بـ PPO وGRPO وREBEL.

الاستخدام

يفترض A*-PO مكافأة ثنائية قابلة للتحقق (r ∈ {0, 1}) ويعمل في مرحلتين:

  1. تقدير القيمة دون اتصال. قبل التدريب، يتم أخذ عينات من num_value_samples من المكملات من سياسة المرجع لكل موجه، وتُقيَّم باستخدام reward_funcs. ثم يُقدَّر ويُخزَّن مؤقتًا لكل موجه القيمة المثلى V*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁)).
  2. الانحدار على السياسة. أثناء التدريب، يتم توليد إكمال واحد لكل موجه من السياسة الحالية. الخسارة هي الخطأ المربع بين المكافأة الضمنية β₂·log(π(y|x)/π_ref(y|x)) والميزة المثلى r(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer

# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
    return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]

training_args = A2POConfig(
    output_dir="Qwen2.5-0.5B-A2PO",
    num_value_samples=8,  # Stage 1: samples per prompt from the reference policy to estimate V*
    beta1=0.5,  # Stage 1: KL temperature for the V* estimate
    beta2=1e-3,  # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
    model="Qwen/Qwen2.5-0.5B",
    reward_funcs=reward_correct,
    args=training_args,
    train_dataset=...,
)
trainer.train()

بما أن V* يُقدَّر بالكامل من عينات سياسة المرجع، فإن A*-PO لا يمكن أن يتجاوز Pass@K الخاص بسياسة المرجع. يمكن العثور على التنفيذ الرسمي في ZhaolinGao/A-PO.

A2POTrainer

فئة trl.experimental.a2po.A2POTrainer

< >

( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )

المعاملات

  • model (PreTrainedModel أو str) — النموذج المراد تدريبه، أو معرّف النموذج (نص) الذي يُمرَّر إلى from_pretrained.
  • reward_funcs (Callable أو list[Callable]) — دالة أو دوال المكافأة. تستقبل كل دالة prompts وcompletions (بالإضافة إلى أعمدة مجموعة البيانات كحجج بكلمات مفتاحية) وتعيد قائمة من المكافآت العشرية. عند توفير عدة دوال، يكون مجموعها المرجح (انظر A2POConfig.reward_weights) هو المكافأة القياسية r، والتي يفترض A*-PO أنها ثنائية (في {0, 1}).
  • args (experimental.a2po.A2POConfig، اختياري) — إعدادات لهذا المدرب. إذا كانت None، يتم استخدام إعداد افتراضي.
  • train_dataset (Dataset، اختياري) — مجموعة بيانات التدريب. يجب أن تحتوي على عمود "prompt".
  • eval_dataset (Dataset، اختياري) — مجموعة بيانات التقييم.
  • processing_class (PreTrainedTokenizerBase، اختياري) — فئة المعالجة المستخدمة لمعالجة البيانات. إذا كانت None، يتم تحميلها من اسم النموذج باستخدام from_pretrained.
  • callbacks (list[~transformers.TrainerCallback], اختياري) — قائمة من الاستدعاءات (callbacks) لتخصيص حلقة التدريب.
  • optimizers (tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], اختياري، القيمة الافتراضية (None, None)) — مجموعة (Tuple) تحتوي على المُحسِّن (optimizer) ومجدول معدل التعلم (learning rate scheduler).

مدرّب لطريقة A*-PO (انحدار الميزة الأمثل)، التي عُرضت في تسريع التعلم المعزز لاستدلال نماذج اللغة الكبيرة باستخدام انحدار الميزة الأمثل.

يعمل A*-PO في مرحلتين:

  1. تقدير القيمة دون اتصال. قبل التدريب، يتم أخذ عينات من num_value_samples من المكملات من سياسة المرجع لكل موجه تدريب وتقييمها باستخدام reward_funcs. يتم تقدير القيمة المثلى على أنها V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1)) وتخزينها مؤقتًا لكل موجه.
  2. الانحدار على السياسة. أثناء التدريب، يتم توليد إكمال واحد لكل موجه من السياسة الحالية. الخسارة هي الخطأ المربع بين المكافأة الضمنية beta2 * log(pi(y|x) / pi_ref(y|x)) وتقدير الامتياز الأمثل r(x, y) - V*(x).

تدريب

< >

( *args**kwargs )

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().

سيتم الحفظ من العملية الرئيسية فقط.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

المعاملات

  • commit_message (str، اختياري، الافتراضي "End of training") — الرسالة التي تُرسل عند الدفع.
  • blocking (bool، اختياري، الافتراضي True) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمال git push.
  • token (str، اختياري، القيمة الافتراضية None) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.
  • revision (str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”.
  • private (bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي args.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا.
  • kwargs (dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى ~Trainer.create_model_card.

ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.

A2POConfig

فئة trl.experimental.a2po.A2POConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )

المعاملات التي تتحكم في النموذج ونموذج المرجع

  • model_init_kwargs (dict[str, Any], اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عندما يُقدَّم معامل model الخاص بـ experimental.a2po.A2POTrainer كنص. كما يُستخدم قيمة revision عند تحميل فئة المعالجة.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained.

المعاملات التي تتحكم في معالجة البيانات المسبقة

  • remove_unused_columns (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب الإبقاء على العمود "prompt" فقط في مجموعة البيانات. إذا كنت تستخدم دالة مكافأة مخصصة تتطلب أي عمود غير "prompts" و"completions"، فيجب عليك إبقاء هذا الإعداد على False.

المعاملات التي تتحكم في التوليد

  • max_prompt_length (int أو None، اختياري، القيمة الافتراضية 512) — الحد الأقصى لطول الموجه. إذا كان الموجه أطول من ذلك، يتم اقتطاعه من اليسار.
  • max_completion_length (int أو None، اختياري، القيمة الافتراضية 256) — الحد الأقصى لطول الإكمال المولّد.
  • temperature (float، اختياري، القيمة الافتراضية 1.0) — درجة حرارة العينة، تُستخدم في كلٍّ من مرحلة التوليد الأولى والمرحلة الثانية.
  • top_p (float، اختياري، القيمة الافتراضية 1.0) — قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على 1.0 لاعتبار جميع الرموز.
  • top_k (int أو None، اختياري) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها. إذا كانت None، يتم تعطيل التصفية حسب أعلى k.

المعاملات التي تتحكم في المرحلة 1 (تقدير القيمة المثلى دون اتصال)

  • num_value_samples (int، اختياري، القيمة الافتراضية 8) — عدد العينات المسحوبة من سياسة المرجع لكل موجه لتقدير V*.
  • beta1 (float، اختياري، القيمة الافتراضية 0.5) — درجة حرارة KL المستخدمة لتقدير V* في المرحلة 1.
  • filter_all_incorrect (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم استبعاد الأوامر التي تكون جميع عينات المرجع الخاصة بها غير صحيحة.

المعاملات التي تتحكم في المرحلة 2 (الانحدار على السياسة)

  • beta2 (float، اختياري، القيمة الافتراضية 1e-3) — درجة حرارة KL المستخدمة في هدف الانحدار في المرحلة 2.
  • reward_weights (list[float], اختياري) — أوزان لكل دالة مكافأة. يجب أن تتطابق مع عدد دوال المكافأة. إذا كانت None، فجميع المكافآت موزونة بالتساوي مع وزن 1.0.

فئة التهيئة الخاصة بـ experimental.a2po.A2POTrainer.

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب A2PO. للحصول على قائمة كاملة بحجج التدريب، يرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.

Update on GitHub