TRL documentation
ORPO Trainer
ORPO Trainer
개요
Odds Ratio Preference Optimization (ORPO)은 Jiwoo Hong, Noah Lee, James Thorne의 ORPO: Monolithic Preference Optimization without Reference Model 논문에서 소개되었습니다.
해당 논문의 초록은 다음과 같습니다:
최근 언어 모델용 선호 정렬 알고리즘은 유망한 결과를 보여주었지만, 성공적인 수렴을 달성하려면 지도 미세 조정(SFT)이 여전히 필수적입니다. 본 논문에서는 선호 정렬 맥락에서 SFT의 핵심적인 역할을 연구하며, 선호되지 않는 생성 스타일에 대한 경미한 페널티만으로도 선호 정렬 SFT가 가능함을 강조합니다. 이 기반 위에서, 추가적인 선호 정렬 단계의 필요성을 제거하는 직관적이고 혁신적인 참조 모델 없는 단일 오즈 비율 선호 최적화 알고리즘인 ORPO를 소개합니다. 125M에서 7B에 이르는 다양한 규모에서 SFT 중 선호되는 스타일과 선호되지 않는 스타일을 대비하는 데 오즈 비율이 합리적인 선택임을 경험적 및 이론적으로 입증했습니다. 구체적으로, UltraFeedback만으로 ORPO를 사용하여 Phi-2 (2.7B), Llama-2 (7B), Mistral (7B)를 미세 조정하면 7B 및 13B 이상의 매개변수를 가진 최첨단 언어 모델의 성능을 초과합니다: AlpacaEval_{2.0}에서 최대 12.20% (그림 1), IFEval (instruction-level loose, 표 6)에서 66.19%, MT-Bench에서 7.32를 달성했습니다. Mistral-ORPO-alpha (7B)와 Mistral-ORPO-beta (7B)의 코드와 모델 체크포인트를 공개합니다.
이 연구는 선호 정렬의 맥락에서 SFT의 핵심적인 역할을 탐구합니다. 선호 데이터를 활용하여,该方法은 비선호 생성물에 대한 경미한 페널티와 함께 NLL 손실에 추가된 단순한 로그 오즈 비율 항을 통한 선택된 응답에 대한 강력한 적응 신호만으로도 선호 정렬이 된 SFT를 달성하는 데 충분하다고 주장합니다.
따라서 ORPO는 참조 모델이 없는 선호 최적화 알고리즘으로, 추가적인 선호 정렬 단계가 필요하지 않아 계산 및 메모리를 절약합니다.
공식 코드는 xfactlab/orpo에서 찾을 수 있습니다.
이 포스트 트레이닝 방법은 Kashif Rasul, Lewis Tunstall, Alvaro Bartolome가 기여했습니다.
빠른 시작
이 예제는 ORPO 방법으로 모델을 학습하는 방법을 보여줍니다. 기본 모델로 Qwen 0.5B 모델을 사용합니다. 선호 데이터로는 UltraFeedback 데이터셋을 사용합니다. 데이터셋에서 데이터를 확인할 수 있습니다:
아래는 모델을 학습하는 스크립트입니다:
# train_orpo.py
from datasets import load_dataset
from trl.experimental.orpo import ORPOConfig, ORPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = ORPOConfig(output_dir="Qwen2-0.5B-ORPO")
trainer = ORPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()다음 명령을 사용하여 스크립트를 실행합니다:
torchrun --nproc_per_node 8 train_orpo.py
8개의 GPU에 분산되어 학습하는 데 약 30분이 소요됩니다. 보상 그래프를 확인하여 학습 진행 상황을 검증할 수 있습니다. 보상 마진의 증가 추세는 모델이 개선되고 시간이 지남에 따라 더 나은 응답을 생성하고 있음을 나타냅니다.

학습된 모델의 성능을 확인하려면 Transformers Chat CLI를 사용할 수 있습니다.
$ transformers chat trl-lib/Qwen2-0.5B-ORPO
<quentin_gallouedec>:
What is the best programming language?
<trl-lib/Qwen2-0.5B-ORPO>:
It's challenging to determine the best programming language as no one language is perfect, as the complexity of a task and the type of project are significant factors. Some popular languages include Java, Python, JavaScript, and
C++. If you have specific needs or requirements for a specific project, it's important to choose the language that best suits those needs.
Here are some other factors to consider when choosing a programming language for a project:
• Language proficiency: A good programming language is more likely to be easy to understand and use, and will allow developers to collaborate on projects more efficiently.
• Ease of use: There are tools and libraries available to make programming more accessible, so developers should choose a language that can help them get started easier.
• Code readability: A clear and concise codebase should be easy to read and understand, especially when working with large projects.
• Tool and framework support: There are numerous libraries available for Python, Java, and JavaScript, along with tools like IDEs and static code analysis tools.
• Accessibility: Some languages and tools have features that make them more accessible to developers with disabilities, such as support for screen readers.
• Version control: As your projects grow and complexity increases, version control tools can be beneficial for tracking changes.
기대되는 데이터셋 유형
ORPO에는 선호 데이터셋이 필요합니다. experimental.orpo.ORPOTrainer는 대화형 및 표준 데이터셋 형식을 모두 지원합니다. 대화형 데이터셋을 제공하면 트레이너가 데이터셋에 채팅 템플릿을 자동으로 적용합니다.
experimental.orpo.ORPOTrainer은 명시적 프롬프트와 암시적 프롬프트를 모두 지원하지만, 명시적 프롬프트 사용을 권장합니다. 암시적 프롬프트 데이터셋을 제공하면 트레이너는 "chosen" 및 "rejected" 컬럼에서 프롬프트를 자동으로 추출합니다. 자세한 내용은 preference style 섹션을 참조하세요.
사용 팁
Mixture of Experts 모델의 경우: 보조 손실 활성화
MOE는 부하가 전문가들 사이에 거의 균등하게 분배될 때 가장 효율적입니다.
선호도 튜닝 과정에서 MOE를 유사하게 학습시키기 위해, 로드 밸런서의 보조 손실을 최종 손실에 추가하는 것이 유익합니다.
이 옵션은 모델 설정(예: MixtralConfig)에서 output_router_logits=True로 설정하여 활성화됩니다.
보조 손실이 전체 손실에 기여하는 정도를 조절하려면 모델 설정에서 하이퍼파라미터 router_aux_loss_coef=...(기본값: 0.001)를 사용하세요.
기록된 지표
학습 및 평가 중에 다음 메트릭을 기록합니다:
rewards/chosen: beta로 스케일링된 선택된 응답에 대한 정책 모델의 평균 로그 확률rewards/rejected: 거부된 응답에 대한 정책 모델의 평균 로그 확률을 beta로 스케일링한 값rewards/accuracies: 선택된 reward가 해당 거부된 reward보다 >인 빈도의 평균rewards/margins: 선택된 보상과 그에 해당하는 거부된 보상의 평균 차이log_odds_chosen: 선택된 응답이 거부된 응답에 비해 가지는 평균 로그 오즈 비율log_odds_ratio:log(sigmoid(log_odds_chosen))의 평균nll_loss: 선택된 응답에 대한 손실의 SFT 부분에서 계산된 평균 음의 로그 가능도 손실
ORPOTrainer
class trl.experimental.orpo.ORPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.orpo.orpo_config.ORPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )
매개변수
- model (PreTrainedModel) — 학습할 모델로, AutoModelForSequenceClassification인 것이 좋습니다.
- args (experimental.orpo.ORPOConfig) — 학습에 사용할 ORPO 설정 인자입니다.
- data_collator (
DataCollator) — 학습에 사용할 데이터 콜레이터입니다. None이 지정된 경우, 기본 데이터 콜레이터(experimental.utils.DPODataCollatorWithPadding)가 사용되며, 이는 페어된 시퀀스로 구성된 데이터셋에서 배치 내 시퀀스의 최대 길이에 맞게 시퀀스를 패딩합니다. - train_dataset (Dataset) — 학습에 사용할 데이터셋.
- eval_dataset (Dataset) — 평가에 사용할 데이터셋.
- processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin 또는 ProcessorMixin, 선택 사항) — 데이터를 처리하는 데 사용되는 처리 클래스입니다. 제공된 경우, 모델의 입력을 자동으로 처리하는 데 사용되며, 중단된 학습을 재실행하거나 미세 조정된 모델을 재사용하기 쉽게 하도록 모델과 함께 저장됩니다.
- model_init (
Callable[[], transformers.PreTrainedModel]) — 학습에 사용할 모델 초기화 함수입니다. None이 지정된 경우 기본 모델 초기화 함수가 사용됩니다. - callbacks (
list[transformers.TrainerCallback]) — 학습에 사용할 콜백입니다. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 학습에 사용할 옵티마이저와 스케줄러입니다. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 메트릭을 계산하기 전에 logits를 전처리하는 데 사용할 함수. - peft_config (
PeftConfig, 선택 사항) — 학습에 사용할 PEFT 구성입니다. PEFT 구성을 전달하면 모델이 PEFT 모델로 래핑됩니다. - compute_metrics (
Callable[[EvalPrediction], dict], 선택 사항) — 메트릭을 계산하는 데 사용할 함수입니다.EvalPrediction를 입력으로 받아 문자열에서 메트릭 값으로 매핑된 딕셔너리를 반환해야 합니다.
ORPOTrainer를 초기화합니다.
train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
매개변수
- resume_from_checkpoint (
str또는bool, 선택 사항) —str인 경우, 이전Trainer인스턴스가 저장한 체크포인트의 로컬 경로입니다.bool이고True와 같으면, 이전Trainer인스턴스가 args.output_dir에 저장한 마지막 체크포인트를 로드합니다. 이 값이 지정되어 있으면, 여기서 로드된 모델/옵티마이저/스케줄러 상태로부터 학습이 재개됩니다. - trial (
optuna.Trial또는dict[str, Any], 선택 사항) — 하이퍼파라미터 탐색을 위한 트라이얼 실행 또는 하이퍼파라미터 사전입니다. - ignore_keys_for_eval (
list[str], 선택 사항) — 모델의 출력(사전에 해당하는 경우)에서 학습 중 평가 예측을 수집할 때 무시해야 할 키의 목록입니다.
반환값
~trainer_utils.TrainOutput
전체 스텝 수, 학습 손실, 메트릭을 포함하는 객체.
주요 학습 진입점.
모델을 저장하므로 from_pretrained()를 사용하여 다시 로드할 수 있습니다.
main 프로세스에서만 저장합니다.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
매개변수
- commit_message (
str, 선택 사항, 기본값"End of training") — 푸시할 때 커밋할 메시지입니다. - blocking (
bool, 선택 사항, 기본값True) —git push가 완료된 후에만 함수가 반환되어야 하는지 여부. - token (
str, 선택 사항, 기본값None) — Trainer의 원래 args를 덮어쓸 수 있는 쓰기 권한이 있는 토큰. - revision (
str, 선택 사항) — 커밋할 git revision입니다. 기본값은 “main” 브랜치의 head입니다. - private (
bool, 선택 사항) — 리포지토리가 생성될 때 비공개로 만들지 여부입니다. 기본값은args.hub_private_repo입니다. 리포지토리가 이미 존재하는 경우 효과가 없습니다. - kwargs (
dict[str, Any], 선택) —~Trainer.create_model_card에 함께 전달되는 추가 키워드 인자입니다.
self.args.hub_model_id 저장소에 self.model과 self.processing_class를 🤗 모델 허브에 업로드합니다.
ORPOConfig
클래스 trl.experimental.orpo.ORPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1disable_dropout: bool = Truepadding_value: int | None = Nonegenerate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )
매개변수
- max_length (
int또는None, 선택 사항, 기본값1024) — 배치 내 시퀀스(프롬프트 + 완성)의 최대 길이입니다. 기본 데이터 콜렉터를 사용하려면 이 인자가 필요합니다. - max_completion_length (
int, 선택 사항) — 완성(completion)의 최대 길이입니다. 기본 데이터 콜레이터를 사용하려고 하고 모델이 인코더-디코더인 경우 이 인자는 필수입니다. - beta (
float, 선택 사항, 기본값0.1) — ORPO 손실에서 상대 비율 손실 가중치를 제어하는 매개변수입니다. 논문에서는 λ로 표기됩니다. 코드에서는alpha로 표기됩니다. - disable_dropout (
bool, 선택 사항, 기본값True) — 모델에서 dropout을 비활성화할지 여부입니다. - padding_value (
int, 선택 사항) — 사용할 패딩 값입니다.None인 경우, 토크나이저의 패딩 값이 사용됩니다. - generate_during_eval (
bool, 선택 사항, 기본값False) —True인 경우, 평가 중에 모델에서 생성된 completions을 W&B 또는 Comet에 기록합니다. - is_encoder_decoder (
bool, 선택 사항) —model인수가 아닌model_init인수(callable)를 사용하여 모델을 인스턴스화하는 경우, callable이 반환하는 모델이 encoder-decoder 모델인지 여부를 지정해야 합니다. - model_init_kwargs (
dict[str, Any], 선택 사항) — 문자열로부터 모델을 인스턴스화할 때AutoModelForCausalLM.from_pretrained에 전달할 키워드 인수입니다.revision값은 처리 클래스를 로드할 때에도 사용됩니다. - trust_remote_code (
bool, 선택, 기본값False) — Hub에서 커스텀 Python 코드를 함께 제공하는 모델을 로드하는 것을 허용할지 여부입니다. from_pretrained로 전달됩니다. - dataset_num_proc (
int, 선택 사항) — 데이터셋 처리에 사용할 프로세스 수.
experimental.orpo.ORPOTrainer의 구성 클래스입니다.
이 클래스에는 ORPO 학습에 특화된 매개변수만 포함되어 있습니다. 학습 인자의 전체 목록은 TrainingArguments 문서를 참고하세요. 이 클래스의 기본값은 TrainingArguments의 기본값과 다를 수 있습니다.
HfArgumentParser를 사용하면 이 클래스를 커맨드 라인에서 지정할 수 있는 argparse 인수로 변환할 수 있습니다.
이러한 파라미터는 TrainingArguments와 다른 기본값을 가집니다:
logging_steps: 기본값이500대신10입니다.gradient_checkpointing: 기본값이False가 아닌True입니다.bf16:fp16가 설정되지 않은 경우 기본값이False가 아닌True입니다.learning_rate: 기본값이5e-5대신1e-6입니다.