TRL documentation
ORPO Trainer
ORPO Trainer
Обзор
Метод Odds Ratio Preference Optimization (ORPO) был предложен в статье ORPO: Monolithic Preference Optimization without Reference Model авторами Jiwoo Hong, Noah Lee и James Thorne.
Аннотация из статьи следующая:
Хотя недавние алгоритмы выравнивания предпочтений для языковых моделей продемонстрировали многообещающие результаты, надзорная дообучение (SFT) остаётся необходимым условием для достижения успешной сходимости. В данной статье мы изучаем ключевую роль SFT в контексте выравнивания предпочтений, подчёркивая, что незначительное наказание за нежелательный стиль генерации достаточно для SFT с учётом предпочтений. На этой основе мы предлагаем простой и инновационный алгоритм оптимизации отношения шансов предпочтений без опорной модели, ORPO, который исключает необходимость в дополнительном этапе выравнивания предпочтений. Мы показываем как эмпирически, так и теоретически, что отношение шансов является разумным выбором для контрастирования желаемых и нежелательных стилей во время SFT в широком диапазоне размеров моделей — от 125M до 7B. В частности, дообучение моделей Phi-2 (2.7B), Llama-2 (7B) и Mistral (7B) с помощью ORPO на данных UltraFeedback превосходит по производительности передовые языковые модели с более чем 7B и 13B параметров: достигая до 12.20% на AlpacaEval_{2.0} (Рисунок 1), 66.19% на IFEval (instruction-level loose, Таблица 6) и 7.32 на MT-Bench (Рисунок 12). Мы публикуем код и контрольные точки моделей Mistral-ORPO-alpha (7B) и Mistral-ORPO-beta (7B).
Метод исследует ключевую роль SFT в контексте выравнивания предпочтений. Используя данные о предпочтениях, метод утверждает, что для SFT с выравниванием предпочтений достаточно небольшого штрафа за генерацию, не соответствующую предпочтениям, в сочетании с сильным сигналом адаптации к выбранному ответу, который обеспечивается простым членом отношения логарифмических шансов, добавленным к функции потерь NLL.
Таким образом, ORPO — это алгоритм оптимизации предпочтений, не требующий опорной модели, что исключает необходимость в дополнительном этапе выравнивания предпочтений и экономит вычислительные ресурсы и память.
Официальный код можно найти в xfactlab/orpo.
Этот метод постобучения был предложен Kashif Rasul, Lewis Tunstall и Alvaro Bartolome.
Быстрый старт
В этом примере показано, как обучать модель с использованием метода ORPO. В качестве базовой модели используется Qwen 0.5B. Для предпочтений используются данные из набора UltraFeedback. Вы можете просмотреть данные в наборе здесь:
Ниже приведён скрипт для обучения модели:
# train_orpo.py
from datasets import load_dataset
from trl.experimental.orpo import ORPOConfig, ORPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = ORPOConfig(output_dir="Qwen2-0.5B-ORPO")
trainer = ORPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()Выполните скрипт с помощью следующей команды:
torchrun --nproc_per_node 8 train_orpo.py
При распределении по 8 GPU обучение занимает примерно 30 минут. Вы можете отслеживать прогресс обучения, проверяя график вознаграждения. Растущая тенденция в разнице вознаграждений (reward margin) указывает на то, что модель улучшается и со временем генерирует более качественные ответы.

Чтобы оценить работу обученной модели, вы можете использовать Transformers Chat CLI.
$ transformers chat trl-lib/Qwen2-0.5B-ORPO
<quentin_gallouedec>:
What is the best programming language?
<trl-lib/Qwen2-0.5B-ORPO>:
It's challenging to determine the best programming language as no one language is perfect, as the complexity of a task and the type of project are significant factors. Some popular languages include Java, Python, JavaScript, and
C++. If you have specific needs or requirements for a specific project, it's important to choose the language that best suits those needs.
Here are some other factors to consider when choosing a programming language for a project:
• Language proficiency: A good programming language is more likely to be easy to understand and use, and will allow developers to collaborate on projects more efficiently.
• Ease of use: There are tools and libraries available to make programming more accessible, so developers should choose a language that can help them get started easier.
• Code readability: A clear and concise codebase should be easy to read and understand, especially when working with large projects.
• Tool and framework support: There are numerous libraries available for Python, Java, and JavaScript, along with tools like IDEs and static code analysis tools.
• Accessibility: Some languages and tools have features that make them more accessible to developers with disabilities, such as support for screen readers.
• Version control: As your projects grow and complexity increases, version control tools can be beneficial for tracking changes.
Ожидаемый тип набора данных
ORPO требует датасет предпочтений. experimental.orpo.ORPOTrainer поддерживает как диалоговый, так и стандартный форматы датасетов. При использовании диалогового датасета тренер автоматически применяет шаблон чата к данным.
Хотя experimental.orpo.ORPOTrainer поддерживает как явные, так и неявные промпты, мы рекомендуем использовать явные промпты. Если предоставить датасет с неявными промптами, тренер автоматически извлечёт промпт из столбцов "chosen" и "rejected". Подробнее см. в разделе preference style.
Советы по использованию
Для моделей Mixture of Experts: включение вспомогательной функции потерь
MOE наиболее эффективны, когда нагрузка распределена между экспертами примерно равномерно.
Чтобы обучать MOE аналогичным образом при настройке предпочтений, полезно добавлять вспомогательную функцию потерь от балансировщика нагрузки к итоговой функции потерь.
Этот параметр включается установкой output_router_logits=True в конфигурации модели (например, MixtralConfig).
Чтобы отрегулировать вклад вспомогательной функции потерь в общую функцию потерь, используйте гиперпараметр router_aux_loss_coef=... (по умолчанию: 0.001) в конфигурации модели.
Записываемые метрики
Во время обучения и оценки мы фиксируем следующие метрики:
rewards/chosen: средние логарифмические вероятности выбранной модели политики для принятых ответов, умноженные на betarewards/rejected: средние логарифмические вероятности, присвоенные моделью политики отклонённым ответам, умноженные на betarewards/accuracies: среднее значение частоты, с которой выбранные вознаграждения > соответствующих отклонённых вознагражденийrewards/margins: средняя разница между наградами за выбранный и соответствующий отклонённый вариантыlog_odds_chosen: среднее отношение логарифмических шансов выбранных ответов к отклонённымlog_odds_ratio: среднее значениеlog(sigmoid(log_odds_chosen))nll_loss: средняя потеря отрицательной логарифмической правдоподобности (negative log likelihood) из SFT-части функции потерь для выбранных ответов
ORPOTrainer
класс trl.experimental.orpo.ORPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.orpo.orpo_config.ORPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )
Параметры
- model (PreTrainedModel) — Модель для обучения, предпочтительно AutoModelForSequenceClassification.
- args (experimental.orpo.ORPOConfig) — Аргументы конфигурации ORPO, используемые для обучения.
- data_collator (
DataCollator) — Коллатор данных, используемый для обучения. Если указано значение None, будет использован коллатор данных по умолчанию (experimental.utils.DPODataCollatorWithPadding), который выравнивает последовательности до максимальной длины последовательностей в батче, если датасет содержит пары последовательностей. - train_dataset (Dataset) — Набор данных, используемый для обучения.
- eval_dataset (Dataset) — Набор данных, используемый для оценки.
- processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin или ProcessorMixin, необязательный) — Класс обработки, используемый для обработки данных. Если указан, будет автоматически использоваться для обработки входных данных модели и сохраняется вместе с моделью, чтобы упростить перезапуск прерванной тренировки или повторное использование дообученной модели.
- model_init (
Callable[[], transformers.PreTrainedModel]) — Инициализатор модели, используемый для обучения. Если указано значение None, будет использован инициализатор модели по умолчанию. - callbacks (
list[transformers.TrainerCallback]) — Список колбэков, используемых для обучения. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Оптимизатор и планировщик, используемые для обучения. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Функция для предобработки логитов перед вычислением метрик. - peft_config (
PeftConfig, необязательный) — Конфигурация PEFT, используемая для обучения. Если вы передадите конфигурацию PEFT, модель будет обернута в модель PEFT. - compute_metrics (
Callable[[EvalPrediction], dict], необязательный) — Функция для вычисления метрик. ПринимаетEvalPredictionи возвращает словарь, сопоставляющий строки с значениями метрик.
Инициализируйте ORPOTrainer.
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
ORPOConfig
класс trl.experimental.orpo.ORPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1disable_dropout: bool = Truepadding_value: int | None = Nonegenerate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )
Параметры
- max_length (
intorNone, необязательный, по умолчанию1024) — Максимальная длина последовательностей (prompt + completion) в батче. Этот аргумент обязателен, если вы хотите использовать стандартный data collator. - max_completion_length (
int, необязательный) — Максимальная длина завершения. Этот аргумент обязателен, если вы хотите использовать стандартный коллаборатор данных, а ваша модель является моделью типа «кодировщик-декодировщик». - beta (
float, необязательный, по умолчанию0.1) — Параметр, управляющий относительным весом потери ratio в функции потерь ORPO. В статье он обозначается как λ. В коде он обозначается какalpha. - disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в модели. - padding_value (
int, необязательный) — Значение для отступов. ЕслиNone, используется значение отступов токенизатора. - generate_during_eval (
bool, необязательный, по умолчаниюFalse) — ЕслиTrue, генерирует и записывает в журнал ответы модели в W&B или Comet во время оценки. - is_encoder_decoder (
bool, необязательный) — При использовании аргументаmodel_init(вызываемый объект) для создания модели вместо аргументаmodelнеобходимо указать, является ли модель, возвращаемая вызываемым объектом, моделью типа encoder-decoder. - model_init_kwargs (
dict[str, Any], необязательный) — Параметры, передаваемые вAutoModelForCausalLM.from_pretrainedпри создании модели из строки. Значениеrevisionтакже используется при загрузке класса обработки. - trust_remote_code (
bool, необязательный, по умолчаниюFalse) — Разрешает ли загрузку моделей, содержащих собственный Python-код из Hub. Передаётся в from_pretrained. - dataset_num_proc (
int, необязательный) — Количество процессов, используемых для обработки набора данных.
Класс конфигурации для experimental.orpo.ORPOTrainer.
Этот класс содержит только параметры, специфичные для обучения ORPO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.
С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.
Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:
logging_steps: по умолчанию10, а не500.gradient_checkpointing: по умолчаниюTrue, а неFalse.bf16: по умолчаниюTrue, если не заданfp16, а неFalse.learning_rate: по умолчанию1e-6, а не5e-5.