TRL documentation

ORPO Trainer

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ORPO Trainer

model badge model badge

Обзор

Метод Odds Ratio Preference Optimization (ORPO) был предложен в статье ORPO: Monolithic Preference Optimization without Reference Model авторами Jiwoo Hong, Noah Lee и James Thorne.

Аннотация из статьи следующая:

Хотя недавние алгоритмы выравнивания предпочтений для языковых моделей продемонстрировали многообещающие результаты, надзорная дообучение (SFT) остаётся необходимым условием для достижения успешной сходимости. В данной статье мы изучаем ключевую роль SFT в контексте выравнивания предпочтений, подчёркивая, что незначительное наказание за нежелательный стиль генерации достаточно для SFT с учётом предпочтений. На этой основе мы предлагаем простой и инновационный алгоритм оптимизации отношения шансов предпочтений без опорной модели, ORPO, который исключает необходимость в дополнительном этапе выравнивания предпочтений. Мы показываем как эмпирически, так и теоретически, что отношение шансов является разумным выбором для контрастирования желаемых и нежелательных стилей во время SFT в широком диапазоне размеров моделей — от 125M до 7B. В частности, дообучение моделей Phi-2 (2.7B), Llama-2 (7B) и Mistral (7B) с помощью ORPO на данных UltraFeedback превосходит по производительности передовые языковые модели с более чем 7B и 13B параметров: достигая до 12.20% на AlpacaEval_{2.0} (Рисунок 1), 66.19% на IFEval (instruction-level loose, Таблица 6) и 7.32 на MT-Bench (Рисунок 12). Мы публикуем код и контрольные точки моделей Mistral-ORPO-alpha (7B) и Mistral-ORPO-beta (7B).

Метод исследует ключевую роль SFT в контексте выравнивания предпочтений. Используя данные о предпочтениях, метод утверждает, что для SFT с выравниванием предпочтений достаточно небольшого штрафа за генерацию, не соответствующую предпочтениям, в сочетании с сильным сигналом адаптации к выбранному ответу, который обеспечивается простым членом отношения логарифмических шансов, добавленным к функции потерь NLL.

Таким образом, ORPO — это алгоритм оптимизации предпочтений, не требующий опорной модели, что исключает необходимость в дополнительном этапе выравнивания предпочтений и экономит вычислительные ресурсы и память.

Официальный код можно найти в xfactlab/orpo.

Этот метод постобучения был предложен Kashif Rasul, Lewis Tunstall и Alvaro Bartolome.

Быстрый старт

В этом примере показано, как обучать модель с использованием метода ORPO. В качестве базовой модели используется Qwen 0.5B. Для предпочтений используются данные из набора UltraFeedback. Вы можете просмотреть данные в наборе здесь:

Ниже приведён скрипт для обучения модели:

# train_orpo.py
from datasets import load_dataset
from trl.experimental.orpo import ORPOConfig, ORPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = ORPOConfig(output_dir="Qwen2-0.5B-ORPO")
trainer = ORPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

Выполните скрипт с помощью следующей команды:

torchrun --nproc_per_node 8 train_orpo.py

При распределении по 8 GPU обучение занимает примерно 30 минут. Вы можете отслеживать прогресс обучения, проверяя график вознаграждения. Растущая тенденция в разнице вознаграждений (reward margin) указывает на то, что модель улучшается и со временем генерирует более качественные ответы.

orpo qwen2 reward margin

Чтобы оценить работу обученной модели, вы можете использовать Transformers Chat CLI.

$ transformers chat trl-lib/Qwen2-0.5B-ORPO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-ORPO>:
It's challenging to determine the best programming language as no one language is perfect, as the complexity of a task and the type of project are significant factors. Some popular languages include Java, Python, JavaScript, and
C++. If you have specific needs or requirements for a specific project, it's important to choose the language that best suits those needs.

Here are some other factors to consider when choosing a programming language for a project:

 • Language proficiency: A good programming language is more likely to be easy to understand and use, and will allow developers to collaborate on projects more efficiently.
 • Ease of use: There are tools and libraries available to make programming more accessible, so developers should choose a language that can help them get started easier.
 • Code readability: A clear and concise codebase should be easy to read and understand, especially when working with large projects.
 • Tool and framework support: There are numerous libraries available for Python, Java, and JavaScript, along with tools like IDEs and static code analysis tools.
 • Accessibility: Some languages and tools have features that make them more accessible to developers with disabilities, such as support for screen readers.
 • Version control: As your projects grow and complexity increases, version control tools can be beneficial for tracking changes.

Ожидаемый тип набора данных

ORPO требует датасет предпочтений. experimental.orpo.ORPOTrainer поддерживает как диалоговый, так и стандартный форматы датасетов. При использовании диалогового датасета тренер автоматически применяет шаблон чата к данным.

Хотя experimental.orpo.ORPOTrainer поддерживает как явные, так и неявные промпты, мы рекомендуем использовать явные промпты. Если предоставить датасет с неявными промптами, тренер автоматически извлечёт промпт из столбцов "chosen" и "rejected". Подробнее см. в разделе preference style.

Советы по использованию

Для моделей Mixture of Experts: включение вспомогательной функции потерь

MOE наиболее эффективны, когда нагрузка распределена между экспертами примерно равномерно.
Чтобы обучать MOE аналогичным образом при настройке предпочтений, полезно добавлять вспомогательную функцию потерь от балансировщика нагрузки к итоговой функции потерь.

Этот параметр включается установкой output_router_logits=True в конфигурации модели (например, MixtralConfig).
Чтобы отрегулировать вклад вспомогательной функции потерь в общую функцию потерь, используйте гиперпараметр router_aux_loss_coef=... (по умолчанию: 0.001) в конфигурации модели.

Записываемые метрики

Во время обучения и оценки мы фиксируем следующие метрики:

  • rewards/chosen: средние логарифмические вероятности выбранной модели политики для принятых ответов, умноженные на beta
  • rewards/rejected: средние логарифмические вероятности, присвоенные моделью политики отклонённым ответам, умноженные на beta
  • rewards/accuracies: среднее значение частоты, с которой выбранные вознаграждения > соответствующих отклонённых вознаграждений
  • rewards/margins: средняя разница между наградами за выбранный и соответствующий отклонённый варианты
  • log_odds_chosen: среднее отношение логарифмических шансов выбранных ответов к отклонённым
  • log_odds_ratio: среднее значение log(sigmoid(log_odds_chosen))
  • nll_loss: средняя потеря отрицательной логарифмической правдоподобности (negative log likelihood) из SFT-части функции потерь для выбранных ответов

ORPOTrainer

класс trl.experimental.orpo.ORPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.orpo.orpo_config.ORPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )

Параметры

  • model (PreTrainedModel) — Модель для обучения, предпочтительно AutoModelForSequenceClassification.
  • args (experimental.orpo.ORPOConfig) — Аргументы конфигурации ORPO, используемые для обучения.
  • data_collator (DataCollator) — Коллатор данных, используемый для обучения. Если указано значение None, будет использован коллатор данных по умолчанию (experimental.utils.DPODataCollatorWithPadding), который выравнивает последовательности до максимальной длины последовательностей в батче, если датасет содержит пары последовательностей.
  • train_dataset (Dataset) — Набор данных, используемый для обучения.
  • eval_dataset (Dataset) — Набор данных, используемый для оценки.
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin или ProcessorMixin, необязательный) — Класс обработки, используемый для обработки данных. Если указан, будет автоматически использоваться для обработки входных данных модели и сохраняется вместе с моделью, чтобы упростить перезапуск прерванной тренировки или повторное использование дообученной модели.
  • model_init (Callable[[], transformers.PreTrainedModel]) — Инициализатор модели, используемый для обучения. Если указано значение None, будет использован инициализатор модели по умолчанию.
  • callbacks (list[transformers.TrainerCallback]) — Список колбэков, используемых для обучения.
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Оптимизатор и планировщик, используемые для обучения.
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Функция для предобработки логитов перед вычислением метрик.
  • peft_config (PeftConfig, необязательный) — Конфигурация PEFT, используемая для обучения. Если вы передадите конфигурацию PEFT, модель будет обернута в модель PEFT.
  • compute_metrics (Callable[[EvalPrediction], dict], необязательный) — Функция для вычисления метрик. Принимает EvalPrediction и возвращает словарь, сопоставляющий строки с значениями метрик.

Инициализируйте ORPOTrainer.

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

ORPOConfig

класс trl.experimental.orpo.ORPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1disable_dropout: bool = Truepadding_value: int | None = Nonegenerate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )

Параметры

  • max_length (int or None, необязательный, по умолчанию 1024) — Максимальная длина последовательностей (prompt + completion) в батче. Этот аргумент обязателен, если вы хотите использовать стандартный data collator.
  • max_completion_length (int, необязательный) — Максимальная длина завершения. Этот аргумент обязателен, если вы хотите использовать стандартный коллаборатор данных, а ваша модель является моделью типа «кодировщик-декодировщик».
  • beta (float, необязательный, по умолчанию 0.1) — Параметр, управляющий относительным весом потери ratio в функции потерь ORPO. В статье он обозначается как λ. В коде он обозначается как alpha.
  • disable_dropout (bool, необязательный, по умолчанию True) — Определяет, следует ли отключить dropout в модели.
  • padding_value (int, необязательный) — Значение для отступов. Если None, используется значение отступов токенизатора.
  • generate_during_eval (bool, необязательный, по умолчанию False) — Если True, генерирует и записывает в журнал ответы модели в W&B или Comet во время оценки.
  • is_encoder_decoder (bool, необязательный) — При использовании аргумента model_init (вызываемый объект) для создания модели вместо аргумента model необходимо указать, является ли модель, возвращаемая вызываемым объектом, моделью типа encoder-decoder.
  • model_init_kwargs (dict[str, Any], необязательный) — Параметры, передаваемые в AutoModelForCausalLM.from_pretrained при создании модели из строки. Значение revision также используется при загрузке класса обработки.
  • trust_remote_code (bool, необязательный, по умолчанию False) — Разрешает ли загрузку моделей, содержащих собственный Python-код из Hub. Передаётся в from_pretrained.
  • dataset_num_proc (int, необязательный) — Количество процессов, используемых для обработки набора данных.

Класс конфигурации для experimental.orpo.ORPOTrainer.

Этот класс содержит только параметры, специфичные для обучения ORPO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.

С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.

Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:

  • logging_steps: по умолчанию 10, а не 500.
  • gradient_checkpointing: по умолчанию True, а не False.
  • bf16: по умолчанию True, если не задан fp16, а не False.
  • learning_rate: по умолчанию 1e-6, а не 5e-5.
Update on GitHub