TRL documentation
Онлайн-тренажер DPO
Онлайн-тренажер DPO
Обзор
Online DPO был предложен в работе Direct Language Model Alignment from Online AI Feedback авторами Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret и Mathieu Blondel.
Аннотация из статьи следующая:
Методы прямого выравнивания по предпочтениям (DAP), такие как DPO, недавно стали эффективным альтернативным подходом к обучению с подкреплением на основе обратной связи от человека (RLHF), не требующим отдельной модели вознаграждения. Однако наборы данных предпочтений, используемые в методах DAP, как правило, собираются до начала обучения и никогда не обновляются, поэтому обратная связь является чисто офлайн-режимом. Кроме того, ответы в этих наборах данных часто генерируются языковой моделью, отличной от той, которая выравнивается, и поскольку модель эволюционирует в процессе обучения, фаза выравнивания неизбежно оказывается вне политики (off-policy). В данном исследовании мы утверждаем, что онлайн-обратная связь является ключевым фактором и улучшает методы DAP. Наш метод, онлайн-обратная связь от ИИ (OAIF), использует LLM в качестве аннотатора: на каждой итерации обучения мы генерируем два ответа из текущей модели и запрашиваем у LLM-аннотатора выбор предпочтительного ответа, тем самым обеспечивая онлайн-обратную связь. Несмотря на простоту, мы демонстрируем с помощью человеческой оценки на нескольких задачах, что OAIF превосходит как офлайн-методы DAP, так и методы RLHF. Мы также показываем, что обратная связь, используемая в OAIF, легко контролируется с помощью инструктивных промптов для LLM-аннотатора.
Этот метод постобучения был предложен Michael Noukhovitch, Shengyi Costa Huang, Quentin Gallouédec и Edward Beeching.
Быстрый старт
В этом примере показано, как обучать модель с использованием метода онлайн-DPO. В качестве базовой модели используется Qwen 0.5B, а в качестве модели вознаграждения — trl-lib/Qwen2-0.5B-Reward. Промпты берутся из датасета UltraFeedback. Просмотреть промпты в датасете можно здесь:
Ниже приведён скрипт для обучения модели:
# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()Выполните скрипт с помощью следующей команды:
torchrun --nproc_per_node 8 train_online_dpo.py
При распределении по 8 GPU обучение занимает примерно 1 час. Вы можете отслеживать прогресс обучения, проверяя график вознаграждения. Растущая тенденция как для вознаграждения отклонённых, так и для вознаграждения выбранных завершений указывает на то, что модель улучшается и со временем генерирует более качественные ответы.

Чтобы оценить работу обученной модели, вы можете использовать Transformers Chat CLI.
$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO
<quentin_gallouedec>:
What is the best programming language?
<trl-lib/Qwen2-0.5B-OnlineDPO>:
The best programming language depends on your specific needs and priorities. Some people prefer imperative programming languages (like Haskell or Lisp), while others prefer functional programming languages (like Scala or Python). It's important to consider your work style, programming environment, and project requirements when choosing a programming language.
Ожидаемый тип набора данных
Online DPO требует только датасета с промптами (в отличие от offline DPO, который ожидает датасет предпочтений). experimental.online_dpo.OnlineDPOTrainer поддерживает форматы датасетов conversational и standard. При получении датасета в формате conversational тренер автоматически применяет к нему шаблон чата.
Советы по использованию
Стимулирование генерации токена EOS
При использовании модели вознаграждения может потребоваться, чтобы модель генерировала завершения в пределах заданной длины. Во время обучения модель будет генерировать завершения до максимальной длины, указанной в аргументе max_new_tokens конфигурации experimental.online_dpo.OnlineDPOConfig. Если вы хотите штрафовать модель за то, что она не сгенерировала токен EOS до достижения максимальной длины, вы можете использовать аргумент missing_eos_penalty конфигурации experimental.online_dpo.OnlineDPOConfig:
training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)Логирование завершений
Чтобы лучше понять поведение модели во время обучения, вы можете периодически записывать примеры завершений с помощью LogCompletionsCallback.
trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)Этот колбэк записывает сгенерированные моделью завершения непосредственно в Weights & Biases.

Записываемые метрики
Во время обучения и оценки мы фиксируем следующие метрики. Вот пример отслеживаемого запуска в Weights and Biases
objective/kl: Среднее значение расхождения Кульбака-Лейблера (KL) между текущей моделью и эталонной моделью.objective/entropy: средняя энтропия модели, показывающая степень случайности действий, выбираемых моделью.objective/non_score_reward: средняя награда от источников, не связанных со скором, по сутиbeta * kl.sum(1), гдеbeta— коэффициент штрафа за KL, аkl— дивергенция KL на токен.objective/rlhf_reward: Среднее значение награды RLHF, равноеscores - non_score_reward.rlhf_rewardявляется конечной целью обучения online DPO. Если обучение работает как задумано, эта метрика должна неуклонно расти.objective/scores: Средние значения оценок, возвращаемые моделью вознаграждения.objective/scores_margin: средняя разница в оценках (согласно внешней модели вознаграждения) между выбранным и отклонённым завершениями.rewards/chosen: среднее вознаграждение (согласно неявной модели вознаграждения online DPO) для выбранных завершений.rewards/rejected: среднее вознаграждение (согласно неявной модели вознаграждения онлайн-DPO) для отклонённых завершений.rewards/accuracies: Точности неявной модели вознаграждения онлайн-DPO.rewards/margins: средняя разница вознаграждения (согласно неявной модели вознаграждения онлайн-DPO) между выбранным и отклонённым завершениями.logps/chosen: средние логарифмические вероятности выбранных завершений.logps/rejected: средние логарифмические вероятности отклонённых завершений.val/contain_eos_token: доля завершений, содержащих токен EOS.beta: параметр, управляющий весом члена потерь, отражающего отклонение от эталонной модели. Как правило, фиксирован, но может быть сделан динамическим путём передачи списка в experimental.online_dpo.OnlineDPOConfig.
Эксперименты по бенчмаркингу
Чтобы проверить работоспособность реализации online DPO, мы провели эксперименты с моделями Pythia 1B, 2.8B и 6.9B на одном узле с 8 x H100. Ниже приведены команды, которые мы использовали для запуска экспериментов, с примером скрипта online DPO в том виде, в каком он существовал на тот момент (examples/scripts/online_dpo.py, впоследствии удалён) — для воспроизведения результатов выполните команду из ветки v1.10.0 (git checkout v1.10.0). Мы берём модели SFT / RM непосредственно из статьи The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization.
# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-1b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hub
# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-2.8b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hub
# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-6.9b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hubЭксперимент отслеживается в этом 🐝 отчёте W&B.
Онлайн-чекпоинт DPO демонстрирует всё более высокую долю побед по мере увеличения размера модели. Это хороший признак того, что реализация онлайн-DPO работает как задумано.
OnlineDPOTrainer
класс trl.experimental.online_dpo.OnlineDPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str]ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = Nonereward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = Noneargs: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = Noneeval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None )
Параметры
- model (
str | nn.Module | PreTrainedModel) — Модель, подлежащая обучению. Может быть:- Строка, являющаяся model id предобученной модели, размещённой в репозитории моделей на huggingface.co, или путь к каталогу, содержащему веса модели, сохранённые с помощью save_pretrained, например
'./my_model_directory/'. Модель загружается с помощью from_pretrained с использованием именованных аргументов изargs.model_init_kwargs. - Объект PreTrainedModel. Поддерживаются только каузальные языковые модели.
- Строка, являющаяся model id предобученной модели, размещённой в репозитории моделей на huggingface.co, или путь к каталогу, содержащему веса модели, сохранённые с помощью save_pretrained, например
- ref_model (PreTrainedModel или
torch.nn.ModuleилиNone) — Модель, используемая в качестве эталонной для обучения. Если указано None, эталонная модель будет создана на основе model. - reward_funcs (
RewardFunc | list[RewardFunc]) — Функции вознаграждения, используемые для вычисления наград. Для вычисления наград мы вызываем все функции вознаграждения с промптами и завершениями и суммируем полученные награды. Допустимые варианты:- Одна функция вознаграждения: может быть строкой (путь к модели), PreTrainedModel или пользовательской вызываемой функцией.
- Список функций вознаграждения: все должны быть совместимых типов.
- args (experimental.online_dpo.OnlineDPOConfig) — Аргументы конфигурации online DPO, используемые для обучения.
- data_collator (
DataCollator) — Коллатор данных, используемый для обучения. Если указано значение None, будет использован коллатор данных по умолчанию (experimental.utils.DPODataCollatorWithPadding), который выравнивает последовательности до максимальной длины последовательностей в батче, если датасет содержит пары последовательностей. - train_dataset (Dataset или IterableDataset) — Набор данных, используемый для обучения.
- eval_dataset (Dataset, IterableDataset или
dict[str, Dataset | IterableDataset]) — Набор данных, используемый для оценки. - processing_class (PreTrainedTokenizerBase или ProcessorMixin, необязательный) — Класс обработки, используемый для обработки данных. Если указан, будет автоматически использоваться для обработки входных данных модели и сохраняться вместе с моделью, чтобы упростить перезапуск прерванной тренировки или повторное использование дообученной модели.
- reward_processing_classes (PreTrainedTokenizerBase или
list[PreTrainedTokenizerBase], необязательный) — Классы обработки, соответствующие функциям вознаграждения, указанным вreward_funcs. Может быть:- Один класс обработки: используется, когда
reward_funcsсодержит только одну функцию вознаграждения. - Список классов обработки: должен соответствовать порядку и длине функций вознаграждения в
reward_funcs.
Если установлено значение
None, токенайзер для каждой функции вознаграждения на основе модели загружается автоматически с помощью from_pretrained. - Один класс обработки: используется, когда
- peft_config (
PeftConfig, необязательный) — Конфигурация PEFT, используемая для обёртки модели. ЕслиNone, модель не оборачивается. - compute_metrics (
Callable[[EvalPrediction], dict], необязательный) — Функция для вычисления метрик. ПринимаетEvalPredictionи возвращает словарь, сопоставляющий строки с значениями метрик. - callbacks (
list[transformers.TrainerCallback]) — Список колбэков, используемых для обучения. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Оптимизатор и планировщик, используемые для обучения. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Функция для предобработки логитов перед вычислением метрик.
Инициализируйте OnlineDPOTrainer.
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
OnlineDPOConfig
класс trl.experimental.online_dpo.OnlineDPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1reward_model_path: str | None = Nonemax_new_tokens: int = 64max_length: int = 512temperature: float = 0.9top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0generation_kwargs: dict | None = Nonecache_implementation: str | None = Nonemissing_eos_penalty: float | None = Nonebeta: list[float] = <factory>loss_type: str = 'sigmoid'disable_dropout: bool = Trueuse_vllm: bool = Falsevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_gpu_memory_utilization: float | None = 0.55vllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_tensor_parallel_size: int = 1vllm_enable_sleep_mode: bool = Falseds3_gather_for_generation: bool = Truemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsereward_weights: list[float] | None = None )
Параметры
- reward_model_path (
str, необязательный) — Путь к модели вознаграждения. - max_new_tokens (
int, необязательный, по умолчанию64) — Максимальное количество токенов, генерируемых на один запрос. - max_length (
int, необязательный, по умолчанию512) — Максимальная общая длина последовательности (запрос + завершение), используемая для вычисления логарифмических вероятностей. Если длина последовательности превышает этот лимит, левые токены будут обрезаны, чтобы сохранить как можно больше завершения. Не применяется, если входные данные содержат изображения, так как обрезка приведет к удалению токенов изображений. - temperature (
float, необязательный, по умолчанию0.9) — Температура для выборки. Чем выше температура, тем более случайными будут завершения. - missing_eos_penalty (
float, необязательный) — Штраф, применяемый к оценке, если модель не генерирует токен EOS. Это полезно для поощрения генерации завершений короче максимальной длины (max_new_tokens). Значение штрафа должно быть положительным. - beta (
floatилиlist[float], необязательный, по умолчанию0.1) — Параметр, контролирующий отклонение от эталонной модели. Чем выше β, тем меньше отклонение от эталонной модели. Для функции потерь IPO (loss_type="ipo") β является параметром регуляризации, обозначенным как τ в статье. Если передан список чисел с плавающей точкой, то β выбирается для каждой новой эпохи, а последний β используется для оставшихся эпох. - loss_type (
str, необязательный, по умолчанию"sigmoid") — Тип используемой функции потерь. Возможные значения: - disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в модели и эталонной модели.
Параметры, управляющие генерацией
- top_p (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, управляющее накопительной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение1.0, чтобы учитывать все токены. - top_k (
int, необязательный, по умолчанию0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если0, фильтрация top-k отключается и учитываются все токены. - min_p (
float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от0.0до1.0. Типичные значения лежат в диапазоне0.01-0.2. - repetition_penalty (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, встречаются ли они в исходном запросе и в уже сгенерированном тексте. Значения >1.0побуждают модель использовать новые токены, а значения <1.0— повторять токены. - cache_implementation (
str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когдаuse_vllmустановлен вFalse. - generation_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в GenerationConfig (при использовании transformers) илиSamplingParams(при использовании vLLM) при выборке завершений. Это позволяет дополнительно настраивать поведение генерации, например, задаватьsuppress_tokens,num_beamsи т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например,min_p,top_pи т. д.), они будут иметь приоритет.
Параметры, управляющие ускорением генерации на базе vLLM
- use_vllm (
bool, необязательный, по умолчаниюFalse) — Использовать ли vLLM для генерации завершений. Если установлено вTrue, тренер будет использовать vLLM для генерации вместо стандартного model.generate(). Требуется установкаvllm. - vllm_model_impl (
str, необязательный, по умолчанию"vllm") — Реализация модели для vLLM. Должно быть одним из"transformers"или"vllm"."transformers": использовать бэкендtransformersдля реализации модели."vllm": использовать библиотекуvllmдля реализации модели. - vllm_mode (
str, необязательный, по умолчанию"colocate") — Режим для интеграции с vLLM, когдаuse_vllmустановлено в значениеTrue. Допустимые значения:"server"или"colocate"."server": тренер будет отправлять запросы на генерацию отдельному серверу vLLM. Убедитесь, что сервер vLLM запущен (запустите с помощьюvllm serve)."colocate": vLLM будет работать в том же процессе и использовать те же GPU, что и обучение. Это избавляет от необходимости запускать отдельный сервер, но может привести к конкуренции за ресурсы с процессом обучения.
- vllm_structured_outputs_regex (
str, необязательный) — Регулярное выражение для структурированных выходов vLLM. ЕслиNone(по умолчанию), структурированные выходы отключены.
Параметры, управляющие сервером vLLM (используются только при `vllm_mode` = `"server"`)
- vllm_server_base_url (
str, необязательный) — Базовый URL сервера vLLM (например,"http://localhost:8000"). Если указан,vllm_server_hostиvllm_server_portигнорируются. - vllm_server_host (
str, необязательный, по умолчанию"0.0.0.0") — Хост сервера vLLM, к которому нужно подключиться. Игнорируется, если указаноvllm_server_base_url. - vllm_server_port (
int, необязательный, по умолчанию8000) — Порт сервера vLLM для подключения. Игнорируется, если указаноvllm_server_base_url. - vllm_server_timeout (
float, необязательный, по умолчанию240.0) — Общее время ожидания в секундах, пока сервер vLLM не станет доступным. Если сервер не запустится по истечении указанного времени, будет выброшено исключениеConnectionError. - vllm_group_port (
int, необязательный, по умолчанию51216) — Номер порта для группы обновления весов. Используется для связи с сервером vLLM. Если порт свободен, менять его не нужно.
Параметры, управляющие выполнением vLLM в режиме colocation (используются только при `vllm_mode` = `"colocate"`)
- vllm_gpu_memory_utilization (
float, необязательный, по умолчанию0.55) — Управляет использованием памяти GPU в vLLM. Этот параметр применяется только при установкеvllm_modeв значение"colocate". Если вы используетеvllm_mode="server", этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага--vllm_gpu_memory_utilization. - vllm_tensor_parallel_size (
int, необязательный, по умолчанию1) — Управляет размером тензорного параллелизма для vLLM. Этот параметр применяется только при установкеvllm_modeв значение"colocate". Если вы используетеvllm_mode="server", этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага--vllm_tensor_parallel_size. - vllm_enable_sleep_mode (
bool, необязательный, по умолчаниюFalse) — Включает режим сна vLLM для выгрузки весов/кэша во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством.
Другие параметры
- ds3_gather_for_generation (
bool, необязательный, по умолчаниюTrue) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM. - model_init_kwargs (
dict[str, Any], необязательный) — Параметры, передаваемые вAutoModelForCausalLM.from_pretrainedпри создании модели из строки. Значениеrevisionтакже используется при загрузке классов обработки вознаграждений. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models that ship custom Python code from the Hub. Forwarded to from_pretrained. Also applied to reward-model and reward-tokenizer loads. - reward_weights (
list[float], необязательный) — Веса для объединения нескольких функций вознаграждения. Должны соответствовать количеству функций вознаграждения. ЕслиNone, все функции вознаграждения имеют равные веса.
Класс конфигурации для experimental.online_dpo.OnlineDPOTrainer.
Этот класс содержит только параметры, специфичные для обучения Online DPO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.
С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.
Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:
logging_steps: по умолчанию10, а не500.gradient_checkpointing: по умолчаниюTrue, а неFalse.bf16: по умолчаниюTrue, если не заданfp16, а неFalse.learning_rate: По умолчанию5e-7, а не5e-5.remove_unused_columns: по умолчаниюFalse, а неTrue.