# A2PO

[![model badge](https://img.shields.io/badge/All_models-A2PO-blue)](https://huggingface.co/models?other=a2po,trl)

يدعم TRL خوارزمية A\*-PO (الانحدار الأمثل للميزة) كما هو موصوف في ورقة [تسريع التعلم المعزز للاستدلال في نماذج اللغة الكبيرة عبر الانحدار الأمثل للميزة](https://huggingface.co/papers/2505.20686) التي كتبها Kianté Brantley وMingyu Chen وZhaolin Gao وJason D. Lee وWen Sun وWenhao Zhan وXuezhou Zhang.

المستخلص من الورقة البحثية هو كالتالي:

> برز تعلّم التعزيز (RL) كأداة قوية لضبط نماذج اللغة الكبيرة (LLMs) لتحسين قدرات الاستدلال المعقدة. ومع ذلك، فإنّ أحدث طرق تحسين السياسات غالبًا ما تعاني من أعباء حسابية عالية واستهلاك كبير للذاكرة، وذلك بشكل رئيسي بسبب الحاجة إلى توليدات متعددة لكل موجه، والاعتماد على شبكات النقد أو تقديرات الميزة للسياسة الحالية. في هذه الورقة، نقترح إطار A\*-PO الجديد لتحسين السياسات على مرحلتين، والذي يقرب دالة الميزة المثلى بشكل مباشر ويتيح تدريبًا فعّالًا لنماذج اللغة الكبيرة (LLMs) لمهام الاستدلال. في المرحلة الأولى، نستفيد من أخذ العينات غير المتصلة من سياسة مرجعية لتقدير دالة القيمة المثلى V\*، مما يلغي الحاجة إلى تقدير القيمة المتصل المكلف. في المرحلة الثانية، نقوم بإجراء تحديثات على السياسة باستخدام خسارة انحدار مربعات دنيا بسيطة مع توليد واحد فقط لكل موجه. من الناحية النظرية، نؤسس ضمانات للأداء ونثبت أنّ هدف تعلّم التعزيز المنتظم بـ KL يمكن تحسينه دون الحاجة إلى استراتيجيات استكشاف معقدة. تجريبيًا، يحقق A\*-PO أداءً تنافسيًا عبر مجموعة واسعة من معايير الاستدلال الرياضي، مع تقليل وقت التدريب بنسبة تصل إلى 2× واستهلاك الذروة للذاكرة بنسبة تتجاوز 30% مقارنةً بـ PPO وGRPO وREBEL.

## الاستخدام

يفترض \*-PO مكافأة **ثنائية قابلة للتحقق** (`r ∈ {0, 1}`) ويعمل في مرحلتين:

1. **تقدير القيمة دون اتصال.** قبل التدريب، يتم أخذ عينات من `num_value_samples` من المكملات من سياسة المرجع لكل موجه، وتُقيَّم باستخدام `reward_funcs`. ثم يُقدَّر ويُخزَّن مؤقتًا لكل موجه القيمة المثلى `V*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁))`.
2. **الانحدار على السياسة.** أثناء التدريب، يتم توليد إكمال واحد لكل موجه من السياسة الحالية. الخسارة هي الخطأ المربع بين المكافأة الضمنية `β₂·log(π(y|x)/π_ref(y|x))` والميزة المثلى `r(x, y) − V*(x)`.

```python
from trl.experimental.a2po import A2POConfig, A2POTrainer

# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
    return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]

training_args = A2POConfig(
    output_dir="Qwen2.5-0.5B-A2PO",
    num_value_samples=8,  # Stage 1: samples per prompt from the reference policy to estimate V*
    beta1=0.5,  # Stage 1: KL temperature for the V* estimate
    beta2=1e-3,  # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
    model="Qwen/Qwen2.5-0.5B",
    reward_funcs=reward_correct,
    args=training_args,
    train_dataset=...,
)
trainer.train()
```

بما أن `V*` يُقدَّر بالكامل من عينات سياسة المرجع، فإن A\*-PO لا يمكن أن يتجاوز Pass@K الخاص بسياسة المرجع. يمكن العثور على التنفيذ الرسمي في [ZhaolinGao/A-PO](https://github.com/ZhaolinGao/A-PO).

## A2POTrainer[[trl.experimental.a2po.A2POTrainer]]

#### trl.experimental.a2po.A2POTrainer[[trl.experimental.a2po.A2POTrainer]]

```python
trl.experimental.a2po.A2POTrainer(model: transformers.modeling_utils.PreTrainedModel | str, reward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]], args: trl.experimental.a2po.a2po_config.A2POConfig | None = None, train_dataset = None, eval_dataset = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = None, callbacks = None, optimizers = (None, None))
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/a2po/a2po_trainer.py#L48)

**المعاملات:**

model (`PreTrainedModel` أو `str`) : النموذج المراد تدريبه، أو معرّف النموذج (نص) الذي يُمرَّر إلى [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained).

reward_funcs (`Callable` أو `list[Callable]`) : دالة أو دوال المكافأة. تستقبل كل دالة `prompts` و`completions` (بالإضافة إلى أعمدة مجموعة البيانات كحجج بكلمات مفتاحية) وتعيد قائمة من قيم المكافآت العشرية. عند تقديم عدة دوال، يكون مجموعها المرجّح (انظر `A2POConfig.reward_weights`) هو المكافأة القياسية `r`، والتي يفترض A*-PO أنها ثنائية (ضمن `{0, 1}`).

args ([experimental.a2po.A2POConfig](/docs/trl/v1.18.0/ar/a2po_trainer#trl.experimental.a2po.A2POConfig)، *اختياري*) : إعدادات لهذا المدرب. إذا كانت `None`، يتم استخدام إعداد افتراضي.

train_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset)، *اختياري*) : مجموعة بيانات التدريب. يجب أن تحتوي على عمود `"prompt"`.

eval_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset)، *اختياري*) : مجموعة بيانات التقييم.

processing_class ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase)، *اختياري*) : فئة المعالجة المستخدمة لمعالجة البيانات. إذا كانت `None`، يتم تحميلها من اسم النموذج باستخدام [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoTokenizer.from_pretrained).

callbacks (`list[~transformers.TrainerCallback]`، *اختياري*) : قائمة من الاستدعاءات (callbacks) لتخصيص حلقة التدريب.

optimizers (`tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR]`، *اختياري*، القيمة الافتراضية `(None, None)`) : مجموعة (Tuple) تحتوي على المُحسِّن (optimizer) ومجدول معدل التعلم (learning rate scheduler).

مدرّب لطريقة A*-PO (انحدار الميزة الأمثل)، التي عُرضت في [تسريع التعلم المعزز لاستدلال نماذج اللغة الكبيرة باستخدام انحدار الميزة الأمثل](https://huggingface.co/papers/2505.20686).

يعمل A*-PO في مرحلتين:

1. **تقدير القيمة دون اتصال.** قبل التدريب، يتم أخذ عينات من `num_value_samples` من المكملات من سياسة المرجع لكل موجه تدريب وتقييمها باستخدام `reward_funcs`. يتم تقدير القيمة المثلى على أنها `V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))` وتخزينها مؤقتًا لكل موجه.
2. **الانحدار على السياسة.** أثناء التدريب، يتم توليد إكمال واحد لكل موجه من السياسة الحالية. الخسارة هي الخطأ المربع بين المكافأة الضمنية `beta2 * log(pi(y|x) / pi_ref(y|x))` وتقدير الميزة الأمثل `r(x, y) - V*(x)`.

#### train[[trl.experimental.a2po.A2POTrainer.train]]

```python
train(*args, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/a2po/a2po_trainer.py#L371)

#### save_model[[trl.experimental.a2po.A2POTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4077)

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام `from_pretrained()`.

سيتم الحفظ من العملية الرئيسية فقط.

#### push_to_hub[[trl.experimental.a2po.A2POTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4337)

**المعاملات:**

commit_message (`str`، *اختياري*، القيمة الافتراضية `"End of training"`) : الرسالة التي سيتم الالتزام بها أثناء الدفع.

blocking (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان ينبغي للوظيفة أن تُرجع القيمة فقط بعد اكتمال `git push`.

token (`str`، *اختياري*، القيمة الافتراضية `None`) : رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.

revision (`str`، *اختياري*) : المراجعة (revision) في git التي سيتم الالتزام منها. الافتراضي هو رأس فرع "main".

private (`bool`, *اختياري*) : ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي `args.hub_private_repo`. لا يؤثر هذا الإعداد إذا كان المستودع موجودًا مسبقًا.

kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية تُمرَّر إلى `~Trainer.create_model_card`.

**يعيد:**

عنوان URL للمستودع الذي تم دفع النموذج إليه إذا كان `blocking=False`، أو كائن `Future` يتتبع تقدم عملية الالتزام إذا كان `blocking=True`.

ارفع `self.model` و`self.processing_class` إلى مركز النماذج 🤗 في المستودع `self.args.hub_model_id`.

## A2POConfig[[trl.experimental.a2po.A2POConfig]]

#### trl.experimental.a2po.A2POConfig[[trl.experimental.a2po.A2POConfig]]

```python
trl.experimental.a2po.A2POConfig(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-05, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool | None = None, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool = True, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 10, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: accelerate.parallelism_config.ParallelismConfig | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = False, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, model_init_kwargs: dict | None = None, trust_remote_code: bool = False, max_prompt_length: int | None = 512, max_completion_length: int | None = 256, temperature: float = 1.0, top_p: float = 1.0, top_k: int | None = None, num_value_samples: int = 8, beta1: float = 0.5, filter_all_incorrect: bool = True, beta2: float = 0.001, reward_weights: list[float] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/a2po/a2po_config.py#L21)

**المعاملات التي تتحكم في النموذج ونموذج المرجع:**

model_init_kwargs (`dict[str, Any]`، *اختياري*) : حُجج الكلمات المفتاحية لـ [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained)، تُستخدم عندما يُقدَّم حُجج `model` الخاص بـ [experimental.a2po.A2POTrainer](/docs/trl/v1.18.0/ar/a2po_trainer#trl.experimental.a2po.A2POTrainer) كنص. كما يُستخدم قيمة `revision` عند تحميل فئة المعالجة.

trust_remote_code (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم السماح بتحميل النماذج ومعالجات الرموز التي تتضمن أكواد بايثون مخصصة من Hub. يتم تمرير هذا إلى [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained) و [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoTokenizer.from_pretrained).

**المعاملات التي تتحكم في معالجة البيانات المسبقة:**

remove_unused_columns (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب الإبقاء على العمود `"prompt"` فقط في مجموعة البيانات. إذا كنت تستخدم دالة مكافأة مخصصة تتطلب أي عمود غير `"prompts"` و`"completions"`، فيجب عليك إبقاء هذا الخيار على `False`.

**المعاملات التي تتحكم في التوليد:**

max_prompt_length (`int` أو `None`، *اختياري*، القيمة الافتراضية `512`) : الحد الأقصى لطول الاستدعاء. إذا كان الاستدعاء أطول من ذلك، يتم اقتطاعه من اليسار.

max_completion_length (`int` أو `None`، *اختياري*، القيمة الافتراضية `256`) : الحد الأقصى لطول الإكمال المولّد.

temperature (`float`، *اختياري*، القيمة الافتراضية `1.0`) : درجة حرارة العينة، تُستخدم في كلٍّ من مرحلة التوليد الأولى والمرحلة الثانية.

top_p (`float`، *اختياري*، القيمة الافتراضية `1.0`) : قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على `1.0` لاعتبار جميع الرموز.

top_k (`int` أو `None`، *اختياري*) : عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها. إذا كانت `None`، يتم تعطيل التصفية حسب أعلى k.

**المعاملات التي تتحكم في المرحلة 1 (تقدير القيمة المثلى دون اتصال):**

num_value_samples (`int`، *اختياري*، القيمة الافتراضية `8`) : عدد العينات المسحوبة من سياسة المرجع لكل موجه لتقدير `V*`.

beta1 (`float`، *اختياري*، القيمة الافتراضية `0.5`) : درجة حرارة KL المستخدمة لتقدير `V*` في المرحلة 1.

filter_all_incorrect (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم إسقاط الأوامر التي تكون جميع عينات المرجع الخاصة بها غير صحيحة.

**المعاملات التي تتحكم في المرحلة 2 (الانحدار على السياسة):**

beta2 (`float`، *اختياري*، القيمة الافتراضية `1e-3`) : درجة حرارة KL المستخدمة في هدف الانحدار في المرحلة 2.

reward_weights (`list[float]`، *اختياري*) : أوزان لكل دالة مكافأة. يجب أن تتطابق مع عدد دوال المكافأة. إذا كانت `None`، فجميع المكافآت موزونة بالتساوي مع وزن `1.0`.

فئة التهيئة الخاصة بـ [experimental.a2po.A2POTrainer](/docs/trl/v1.18.0/ar/a2po_trainer#trl.experimental.a2po.A2POTrainer).

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب A2PO. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments). لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments).

