TRL documentation

مدرب CPO

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

مدرب CPO

model badge

نظرة عامة

تحسين التفضيلات التباينية (CPO) كما طُرِح في ورقة تحسين التفضيلات التباينية: دفع حدود أداء نماذج اللغة الكبيرة في الترجمة الآلية التي كتبها Haoran Xu وAmr Sharaf وYunmo Chen وWeiting Tan وLingfeng Shen وBenjamin Van Durme وKenton Murray وYoung Jin Kim. على مستوى عالٍ، تُدرّب CPO النماذج على تجنّب توليد ترجمات كافية لكنها ليست مثالية في مهام الترجمة الآلية (MT). ومع ذلك، تُعدّ CPO تقريبًا عامًا لخسارة DPO ويمكن تطبيقها في مجالات أخرى، مثل الدردشة.

تهدف CPO إلى التخفيف من قصورين جوهريين في SFT. أولاً، فإن منهجية SFT المتمثلة في تقليل الفجوة بين المخرجات المتوقعة والمراجع القياسية الذهبية تُقيّد أداء النموذج بشكل جوهري بمستوى جودة بيانات التدريب. ثانياً، تفتقر SFT إلى آلية تمنع النموذج من رفض الأخطاء في الترجمات. يُشتق هدف CPO من هدف DPO.

البدء السريع

يُظهر هذا المثال كيفية تدريب نموذج باستخدام طريقة CPO. نستخدم نموذج Qwen 0.5B كنموذج أساسي. نستخدم بيانات التفضيل من مجموعة بيانات UltraFeedback. يمكنك عرض البيانات في مجموعة البيانات هنا:

فيما يلي السكربت لتدريب النموذج:

# train_cpo.py
from datasets import load_dataset
from trl.experimental.cpo import CPOConfig, CPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = CPOConfig(output_dir="Qwen2-0.5B-CPO")
trainer = CPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

نفّذ السكربت باستخدام الأمر التالي:

torchrun --nproc_per_node 8 train_cpo.py

نوع مجموعة البيانات المتوقع

يتطلب CPO مجموعة بيانات تفضيلات. يدعم experimental.cpo.CPOTrainer كلا من صيغ مجموعات البيانات المحادثية والمعيارية. عند تزويده بمجموعة بيانات محادثية، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائيًا.

المقاييس المسجّلة

أثناء التدريب والتقييم، نسجّل المقاييس التالية:

  • rewards/chosen: متوسط احتمالات السجل (log probabilities) لنموذج السياسة (policy model) للردود المختارة، مضروبًا في معامل بيتا (beta)
  • rewards/rejected: متوسط احتمالات السجل (log probabilities) لنموذج السياسة (policy model) للردود المرفوضة، مضروبًا في معامل بيتا (beta)
  • rewards/accuracies: متوسط تكرار كون المكافآت المختارة > من المكافآت المرفوضة المقابلة
  • rewards/margins: متوسط الفرق بين المكافآت المختارة والمكافآت المرفوضة المقابلة
  • nll_loss: متوسط خسارة الاحتمالية السالبة (negative log likelihood) لنموذج السياسة الخاص بالاستجابات المختارة

متغيرات CPO

تحسين التفضيلات البسيط (SimPO)

يقترح Simple Preference Optimization (SimPO) الذي طوّره Yu Meng وMengzhou Xia وDanqi Chen خوارزمية تحسين تفضيلات أبسط وأكثر فعالية من DPO دون استخدام نموذج مرجعي. تتمثل التصاميم الأساسية في SimPO في (1) استخدام احتمال السجل المُطبَّع على الطول كمكافأة ضمنية، و(2) دمج هامش مكافأة مستهدف في هدف الترتيب Bradley-Terry. يمكن العثور على الكود الرسمي في princeton-nlp/SimPO.

المستخلص من الورقة البحثية هو كالتالي:

تُعدّ تحسين التفضيلات المباشر (DPO) خوارزمية تحسين تفضيلات غير تفاعلية (offline) تُستخدم على نطاق واسع، تعيد تمثيل دوال المكافآت في التعلم المعزز من التغذية الراجعة البشرية (RLHF) لتعزيز البساطة واستقرار التدريب. في هذا العمل، نقترح SimPO، وهو نهج أبسط وأكثر فعالية. تُعزى فعالية SimPO إلى تصميم أساسي: استخدام متوسط الاحتمال اللوغاريتمي (log probability) للتسلسل كمكافأة ضمنية. تتوافق صياغة المكافأة هذه بشكل أفضل مع توليد النموذج، وتُلغي الحاجة إلى نموذج مرجعي، مما يجعلها أكثر كفاءة من حيث الحوسبة والذاكرة. بالإضافة إلى ذلك، نُدخل هامش مكافأة مستهدف (target reward margin) إلى هدف برادلي-تيري (Bradley-Terry) لتشجيع وجود هامش أكبر بين الاستجابة الفائزة والاستجابة الخاسرة، مما يعزز أداء الخوارزمية بشكل أكبر. نقارن SimPO مع DPO وأحدث متغيراته عبر إعدادات تدريب متقدمة متنوعة، تشمل كلا من النماذج الأساسية والنماذج المُعدّلة بالتعليمات (instruction-tuned) مثل Mistral وLlama3. أجرينا التقييم على معايير شاملة لمتابعة التعليمات، بما في ذلك AlpacaEval 2 وMT-Bench ومقياس Arena-Hard الصعب والأحدث. تُظهر نتائجنا أن SimPO يتفوق باستمرار وبشكل كبير على الأساليب الحالية دون زيادة كبيرة في طول الاستجابة. تحديداً، يتفوق SimPO على DPO بفارق يصل إلى 6.4 نقاط على AlpacaEval 2 وبفارق يصل إلى 7.5 نقاط على Arena-Hard. يحقق نموذجنا الأعلى أداءً، المبني على Llama3-8B-Instruct، معدل فوز مذهلاً بنسبة 44.7 مع التحكم في الطول على AlpacaEval 2 — متجاوزاً Claude 3 Opus على لوحة الصدارة — ومعدل فوز بنسبة 33.8 على Arena-Hard — مما يجعله أقوى نموذج مفتوح المصدر بحجم 8B.

تُدمج خسارة SimPO في experimental.cpo.CPOTrainer، إذ إنها خسارة بديلة تضيف هامش مكافأة، وتسمح بالتطبيع حسب الطول، ولا تستخدم تنظيم BC. لاستخدام هذه الخسارة، ما عليك سوى تفعيل loss_type="simpo" وcpo_alpha=0.0 في experimental.cpo.CPOConfig وتعيين simpo_gamma إلى قيمة موصى بها.

CPO-SimPO

نوفر أيضاً الاستخدام المشترك لـ CPO و SimPO، مما يتيح تدريباً أكثر استقراراً وأداءً محسّناً. لمعرفة المزيد من التفاصيل، راجع CPO-SimPO GitHub. لاستخدام هذه الطريقة، ما عليك سوى تفعيل SimPO عن طريق تعيين loss_type="simpo" وقيمة غير صفرية لـ cpo_alpha في experimental.cpo.CPOConfig.

AlphaPO

طريقة AlphaPO — Reward shape matters for LLM alignment (AlphaPO) التي طوّرها Aman Gupta وShao Tang وQingquan Song وSirou Zhu وJiwoo Hong وAnkan Saha وViral Gupta وNoah Lee وEunki Kim وJason Zhu وNatesh Pillai وS. Sathiya Keerthi، مُنفَّذة أيضاً في experimental.cpo.CPOTrainer. تُعد AlphaPO طريقة بديلة تطبّق تحويلًا على شكل دالة المكافأة في سياق خسارة SimPO. ملخص الورقة البحثية هو الآتي:

حققت تقنيات التعلم المعزز بتغذية راجعة بشرية (RLHF) وأنواعها المتعددة تقدماً كبيراً نحو المحاذاة الفعّالة لنماذج اللغة الكبيرة (LLMs) لاتباع التعليمات وانعكاس القيم البشرية. وفي الآونة الأخيرة، برزت خوارزميات المحاذاة المباشرة (DAAs) التي تتخطى مرحلة نمذجة المكافأة في RLHF من خلال وصف المكافأة مباشرةً كدالة للسياسة قيد التعلم. وتشمل بعض الأمثلة الشائعة لخوارزميات DAAs تحسين التفضيلات المباشر (DPO) وتحسين التفضيلات البسيط (SimPO). وغالباً ما تعاني هذه الأساليب من إزاحة الاحتمالية، وهي ظاهرة يتم فيها تقليل احتمالات الاستجابات المفضلة بشكل غير مرغوب فيه. في هذه الورقة، نجادل بأن شكل دالة المكافأة (أو دالة المكافأة ذاتها) له أهمية في خوارزميات DAAs. نقدم AlphaPO، وهو أسلوب جديد لخوارزميات DAAs يستفيد من معامل α للمساعدة في تغيير شكل دالة المكافأة بما يتجاوز المكافأة اللوغاريتمية القياسية. يساعد AlphaPO في الحفاظ على تحكم دقيق في إزاحة الاحتمالية والتفريط في التحسين. وبالمقارنة مع SimPO، إحدى خوارزميات DAAs الأعلى أداءً، يؤدي AlphaPO إلى تحسين نسبي يتراوح بين 7% و10% في أداء المحاذاة للإصدارات التعليمية من Mistral-7B وLlama3-8B، مع تحقيق تحسين نسبي يتراوح بين 15% و50% مقارنةً بـ DPO على نفس النماذج. تبرز التحليلات والنتائج المعروضة أهمية شكل المكافأة وكيفية تغييره بشكل منهجي لتأثير ديناميكيات التدريب، فضلاً عن تحسين أداء المحاذاة.

لاستخدام هذه الدالة كما هو موصوف في الورقة البحثية، يمكننا تعيين loss_type="alphapo" والذي يقوم تلقائيًا بتعيين loss_type="simpo" وcpo_alpha=0.0، معًا مع alpha وsimpo_gamma إلى القيم الموصى بها في experimental.cpo.CPOConfig. أو يمكنك تعيين loss_type="simpo" وcpo_alpha=0.0 يدويًا، معًا مع alpha وsimpo_gamma إلى القيم الموصى بها. كما أن هناك متغيرات أخرى ممكنة لهذه الطريقة، مثل تعيين loss_type="ipo" وalpha إلى أي قيمة غير صفرية.

دوال الخسارة

يدعم خوارزمية CPO عدة دوال خسارة. يمكن ضبط دالة الخسارة باستخدام معامل loss_type في experimental.cpo.CPOConfig. الدوال التالية مدعومة:

loss_type=الوصف
"sigmoid" (الافتراضي)بناءً على بيانات التفضيل، يمكننا ملاءمة مُصنِّف ثنائي وفقاً لنموذج برادلي-تيري، ويقترح مؤلفو DPO في الواقع استخدام خسارة سيجمويد على الاحتمال المعياري عبر logsigmoid لملاءمة انحدار لوجستي.
"hinge"يقترح مؤلفو RSO استخدام خسارة المفصلة (hinge loss) على الاحتمالية المعيارية من ورقة SLiC. في هذه الحالة، يكون beta هو مقلوب الهامش.
"ipo"يقدّم مؤلفو IPO فهماً نظرياً أعمق لخوارزميات DPO، ويحددون مشكلة تتعلق بالفرط في الملاءمة (overfitting) ويقترحون دالة خسارة بديلة. في هذه الحالة، يكون beta هو مقلوب الفجوة بين نسب الاحتمال اللوغاريتمي (log-likelihood ratios) للإكمال المختار مقابل الإكمال المرفوض، وبالتالي كلما كان beta أصغر، كانت هذه الفجوة أكبر. وفقاً للورقة البحثية، يتم حساب متوسط دالة الخسارة على قيم الاحتمال اللوغاريتمي (log-likelihoods) للإكمال (على عكس DPO التي تعتمد على الجمع فقط).
"simpo"يُنفَّذ أسلوب SimPO أيضاً في experimental.cpo.CPOTrainer. يُعدّ SimPO دالة خسارة بديلة تضيف هامش مكافأة، وتسمح بالتطبيع حسب الطول، ولا تستخدم تنظيم BC. لاستخدام هذه الدالة، ما عليك سوى تعيين loss_type="simpo" وcpo_alpha=0.0 في experimental.cpo.CPOConfig وتعيين simpo_gamma إلى قيمة موصى بها.
"alphapo"يُنفَّذ أسلوب AlphaPO أيضاً في experimental.cpo.CPOTrainer. وهذا مجرد سكر صياغي يحدد تلقائياً loss_type="simpo" وcpo_alpha=0.0. يطبّق AlphaPO تحويلًا على شكل دالة المكافأة في سياق خسارة SimPO عندما يكون معامل alpha غير صفري.

لنماذج مزيج الخبراء: تفعيل الخسارة المساعدة

تكون نماذج MOE الأكثر كفاءة عندما يكون الحمل موزّعاً بالتساوي تقريباً بين الخبراء.
ولضمان تدريب نماذج MOE بشكل مشابه أثناء ضبط التفضيلات، من المفيد إضافة الخسارة المساعدة من موازن الحمل إلى الخسارة النهائية.

تُفعَّل هذه الخيارات من خلال تعيين output_router_logits=True في إعدادات النموذج (مثل MixtralConfig).
ولتحديد مقدار مساهمة الخسارة المساعدة في الخسارة الإجمالية، استخدم معامل الضبط router_aux_loss_coef=... (الافتراضي: 0.001) في إعدادات النموذج.

CPOTrainer

فئة trl.experimental.cpo.CPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.cpo.cpo_config.CPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )

المعاملات

  • model (PreTrainedModel) — النموذج المراد تدريبه، ويُفضَّل أن يكون AutoModelForSequenceClassification.
  • args (experimental.cpo.CPOConfig) — معاملات إعدادات CPO المستخدمة للتدريب.
  • data_collator (DataCollator) — مجمّع البيانات (Data Collator) المستخدم للتدريب. إذا تم تحديد None، فسيتم استخدام مجمّع البيانات الافتراضي (experimental.utils.DPODataCollatorWithPadding) والذي سيملأ التسلسلات حتى الطول الأقصى للتسلسلات في الدفعة (batch)، معطياً مجموعة بيانات من التسلسلات المزدوجة.
  • train_dataset (Dataset) — مجموعة البيانات المستخدمة للتدريب.
  • eval_dataset (Dataset) — مجموعة البيانات المستخدمة للتقييم.
  • processing_class (PreTrainedTokenizerBase أو BaseImageProcessor أو FeatureExtractionMixin أو ProcessorMixin، اختياري) — فئة المعالجة المستخدمة لمعالجة البيانات. إذا تم توفيرها، فستُستخدم لمعالجة المدخلات تلقائيًا للنموذج، وستُحفظ مع النموذج لتسهيل إعادة تشغيل التدريب المقطوع أو إعادة استخدام النموذج المُحسَّن.
  • model_init (Callable[[], transformers.PreTrainedModel]) — مُهيِّئ النموذج الذي سيُستخدم للتدريب. إذا تم تحديد None، فسيتم استخدام مُهيِّئ النموذج الافتراضي.
  • callbacks (list[transformers.TrainerCallback]) — المستدعات (callbacks) المستخدمة للتدريب.
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — المُحسِّن ومجدول معدل التعلم المستخدمان للتدريب.
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — الدالة المستخدمة لمعالجة القيم الأولية (logits) قبل حساب المقاييس.
  • peft_config (PeftConfig، اختياري) — إعدادات PEFT التي سيتم استخدامها للتدريب. إذا قمت بتمرير إعدادات PEFT، فسيتم تغليف النموذج في نموذج PEFT.
  • compute_metrics (Callable[[EvalPrediction], dict], اختياري) — الدالة المستخدمة لحساب المقاييس. يجب أن تستقبل EvalPrediction وتعيد قاموسًا من السلاسل النصية إلى قيم المقاييس.

قم بتهيئة CPOTrainer.

تدريب

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

المعاملات

  • resume_from_checkpoint (str أو bool، اختياري) — إذا كان str، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة من Trainer. وإذا كان bool ويساوي True، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة من Trainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.
  • trial (optuna.Trial أو dict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة.
  • ignore_keys_for_eval (list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

يعيد

~trainer_utils.TrainOutput

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().

سيتم الحفظ من العملية الرئيسية فقط.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

المعاملات

  • commit_message (str، اختياري، الافتراضي "End of training") — الرسالة التي تُرسل عند الدفع.
  • blocking (bool، اختياري، الافتراضي True) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمال git push.
  • token (str، اختياري، القيمة الافتراضية None) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.
  • revision (str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”.
  • private (bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي args.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا.
  • kwargs (dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى ~Trainer.create_model_card.

ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.

CPOConfig

فئة trl.experimental.cpo.CPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1label_smoothing: float = 0.0loss_type: str = 'sigmoid'disable_dropout: bool = Truecpo_alpha: float = 1.0simpo_gamma: float = 0.5alpha: float = 0.0generate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )

المعاملات

  • max_length (int أو None، اختياري، القيمة الافتراضية 1024) — الحد الأقصى لطول التسلسلات (الموجّه + الإكمال) في الدفعة. هذا الحُجج مطلوب إذا كنت ترغب في استخدام مُجمِّع البيانات الافتراضي.
  • max_completion_length (int، اختياري) — الحد الأقصى لطول الإكمال. هذا الحُجج مطلوب إذا كنت ترغب في استخدام مُجمِّع البيانات الافتراضي وكان نموذجك من نوع المُشفِّر-المُفكِّك (encoder-decoder).
  • beta (float، اختياري، القيمة الافتراضية 0.1) — معامل يتحكم في مقدار الانحراف عن النموذج المرجعي. كلما زاد β قلّ الانحراف عن النموذج المرجعي. فيما يتعلق بخسارة IPO (loss_type="ipo")، فإن β هو معامل التنظيم المُشار إليه بـ τ في الورقة البحثية.
  • label_smoothing (float, اختياري، القيمة الافتراضية 0.0) — معامل تنعيم التسميات. هذا الحُجج مطلوب إذا كنت ترغب في استخدام مُجمِّع البيانات الافتراضي.
  • loss_type (str, اختياري, الافتراضي هو "sigmoid") — نوع الدالة الخاسرة (loss) المستخدمة. القيم الممكنة هي:
    • "sigmoid": دالة الخسارة السينية من ورقة DPO الأصلية.
    • "hinge": دالة الخسارة المفصلية (hinge loss) على الاحتمالية المعيارية من ورقة SLiC.
    • "ipo": خسارة IPO من ورقة IPO.
    • "simpo": دالة خسارة SimPO من ورقة SimPO.
    • "alphapo": خسارة AlphaPO من ورقة AlphaPO. هذا يضبط تلقائيًا loss_type="simpo" وcpo_alpha=0.0.
  • disable_dropout (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في النموذج.
  • cpo_alpha (float, اختياري، القيمة الافتراضية 1.0) — وزن مُنظِّم BC في تدريب CPO.
  • simpo_gamma (float، اختياري، القيمة الافتراضية 0.5) — هامش المكافأة المستهدف لخسارة SimPO، يُستخدم فقط عندما يكون loss_type="simpo".
  • alpha (float، اختياري، القيمة الافتراضية 0.0) — معامل Alpha الذي يتحكم في شكل دالة المكافأة عبر جميع أنواع الخسارة. عندما يكون alpha=0 (الافتراضي)، يتم استخدام مكافآت الاحتمال اللوغاريتمي القياسية. عندما alpha != 0، تُطبَّق تحويلات AlphaPO: r = (1 - p^(-alpha)) / alpha من ورقة AlphaPO. يعمل هذا المعامل مع جميع أنواع الخسارة.
  • generate_during_eval (bool، اختياري، القيمة الافتراضية False) — إذا كانت True، يتم توليد الإكمالات من النموذج وتسجيلها في W&B أو Comet أثناء التقييم.
  • is_encoder_decoder (bool، اختياري) — عند استخدام حجة model_init (دالة قابلة للاستدعاء) لإنشاء النموذج بدلاً من حجة model، تحتاج إلى تحديد ما إذا كان النموذج الذي تُرجعه الدالة القابلة للاستدعاء هو نموذج مُشفِّر-مُفكِّك (encoder-decoder).
  • model_init_kwargs (dict[str, Any], اختياري) — حجج الكلمات المفتاحية التي يتم تمريرها إلى AutoModelForCausalLM.from_pretrained عند إنشاء النموذج من نص. كما يُستخدم قيمة revision عند تحميل فئة المعالجة.
  • trust_remote_code (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم السماح بتحميل النماذج التي تتضمن كود Python مخصصًا من Hub. يتم تمرير هذا المعامل إلى from_pretrained.
  • dataset_num_proc (int، اختياري) — عدد العمليات المستخدمة لمعالجة مجموعة البيانات.

فئة التهيئة الخاصة بـ experimental.cpo.CPOTrainer.

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب CPO. للحصول على قائمة كاملة بحجج التدريب، يرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.

باستخدام HfArgumentParser يمكننا تحويل هذه الفئة إلى حُجج argparse يمكن تحديدها على سطر الأوامر.

تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:

  • logging_steps: القيمة الافتراضية هي 10 بدلاً من 500.
  • gradient_checkpointing: القيمة الافتراضية هي True بدلاً من False.
  • bf16: القيمة الافتراضية هي True إذا لم يتم تعيين fp16، بدلاً من False.
  • learning_rate: القيمة الافتراضية هي 1e-6 بدلاً من 5e-5.
Update on GitHub