TRL documentation

Обработчики событий

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Обработчики событий

RichProgressCallback

класс trl.RichProgressCallback

< >

( )

Класс TrainerCallback, отображающий ход обучения или оценки с помощью Rich.

LogCompletionsCallback

класс trl.LogCompletionsCallback

< >

( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )

Параметры

  • trainer (Trainer) — объект Trainer, к которому будет подключён callback. Набор данных для оценки в trainer должен содержать столбец "prompt" с промптами для генерации завершений.
  • generation_config (GenerationConfig, необязательный) — Конфигурация генерации, используемая для создания завершений.
  • num_prompts (int, необязательный) — Количество промптов, для которых будут генерироваться завершения. Если не указано, по умолчанию используется количество примеров в наборе данных для оценки.
  • freq (int, необязательный) — Частота, с которой логируются завершения. Если не указано, по умолчанию используется eval_steps тренера.

Класс TrainerCallback, который записывает результаты генерации в Weights & Biases и/или Comet.

Использование:

>>> trainer = DPOTrainer(...)
>>> completions_callback = LogCompletionsCallback(trainer=trainer)
>>> trainer.add_callback(completions_callback)

BEMACallback

класс trl.BEMACallback

< >

( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )

Параметры

  • update_freq (int, необязательный, по умолчанию 400) — Обновлять веса BEMA каждые X шагов. В статье обозначается как {@html "ϕ \\phi ϕ"} in the paper.
  • ema_power (float, optional, defaults to 0.5) — Power for the EMA decay factor. Denoted {@html "κ \\kappa κ "} в статье. Чтобы отключить EMA, установите это значение в 0.0.
  • bias_power (float, необязательный, по умолчанию 0.2) — степень для масштабирующего коэффициента BEMA. В статье обозначается как {@html "η \\eta η"}. Большое значение (например, 8.0) приводит к тому, что {@html "αt \\alpha_t αt​"} стремится к 0, что приближается к отключённой коррекции смещения; значение 0.0, напротив, фиксирует {@html "αt \\alpha_t αt​"} на уровне 1 на каждом шаге (максимальная, не затухающая коррекция). lag (int, необязательный, по умолчанию 10) — начальное смещение в расписании затухания весов, которое контролирует плавность на ранних этапах, выступая в роли виртуального начального возраста для обновлений. Обозначается как {@html "ρ \\rho ρ "}η \\eta η"} in the paper. A large value (e.g. 8.0) makes {@html "αt \\alpha_t αt​"} decay to 0, approximating disabled bias-correction; 0.0 instead pins {@html "αt \\alpha_t αt​"} at 1 for every step (maximum, undecayed correction).
  • lag (int, optional, defaults to 10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ \\rho ρ"} в статье.
  • update_after (int, необязательный, по умолчанию 0) — Время прогрева перед началом обновления весов BEMA. Обозначается как {@html "τ \\tau τ"} в статье. multiplier (float, необязательный, по умолчанию 1.0) — Начальное значение для коэффициента затухания EMA. Обозначается как {@html "γ \\gamma γ "}τ \\tau τ"} in the paper.
  • multiplier (float, optional, defaults to 1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ \\gamma γ"} в статье.
  • min_ema_multiplier (float, необязательный, по умолчанию 0.0) — Минимальное значение для коэффициента затухания EMA.
  • device (str, необязательный, по умолчанию "cpu") — Устройство для буферов BEMA, например "cpu" или "cuda". Обратите внимание, что в большинстве случаев это устройство ДОЛЖНО БЫТЬ РАЗЛИЧНЫМ от устройства, используемого для обучения, чтобы избежать OOM.

Класс TrainerCallback, реализующий BEMA (Bias-Corrected Exponential Moving Average) от Adam Block и Cyril Zhang. Код из https://github.com/abblock/bema под лицензией MIT.

BEMA вычисляет веса модели, которые масштабируются следующим образом: θt′=αt⋅(θt−θ0)+EMAt \theta_t' = \alpha_t \cdot (\theta_t - \theta_0) + \text{EMA}_t

где θt \theta_t — текущие веса модели, θ0 \theta_0 — снимок весов модели на первом update_after шаге EMAt \text{EMA}_t — экспоненциальное скользящее среднее весов модели, аαt \alpha_t — коэффициент масштабирования, который затухает с числом шагов t t по формуле αt=(ρ+γ⋅t)−η. \alpha_t = (\rho + \gamma \cdot t)^{-\eta}.

EMA вычисляется следующим образом: EMAt=(1−βt)⋅EMAt−1+βt⋅θt \text{EMA}_t = (1 - \beta_t) \cdot \text{EMA}_{t-1} + \beta_t \cdot \theta_t

где βt \beta_t — коэффициент затухания, который уменьшается с числом шагов t t по закону βt=(ρ+γ⋅t)−κ. \beta_t = (\rho + \gamma \cdot t)^{-\kappa}.

Пример:

>>> from trl import BEMACallback

>>> trainer = Trainer(..., callbacks=[BEMACallback()])

WeaveCallback

класс trl.WeaveCallback

< >

( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )

Параметры

  • trainer (Trainer) — объект Trainer, к которому будет подключён callback. Набор данных для оценки в trainer должен содержать столбец "prompt" с промптами для генерации завершений.
  • project_name (str, необязательный) — Имя проекта Weave, в который будут записываться данные. Если не указано, будет попытаться использовать существующий клиент weave или откатиться к имени проекта активного запуска wandb. Выбрасывает ошибку, если ни один из этих вариантов недоступен.
  • scorers (dict[str, Callable], необязательный) — Словарь, сопоставляющий имена оценщиков с функциями-оценщиками. Если None, работает в режиме трассировки (только предсказания). Если передан, работает в режиме оценки (предсказания + оценки + сводка). Функции-оценщики должны иметь сигнатуру: scorer(prompt: str, completion: str) -> float | int
  • generation_config (GenerationConfig, необязательный) — Конфигурация генерации, используемая для создания завершений.
  • num_prompts (int, необязательный) — Количество промптов, для которых будут генерироваться завершения. Если не указано, по умолчанию используется количество примеров в наборе данных для оценки.
  • dataset_name (str, необязательный, по умолчанию "eval_dataset") — Имя для метаданных набора данных в Weave.
  • model_name (str, необязательный) — Имя для метаданных модели в Weave. Если не указано, выполняется попытка извлечь его из конфигурации модели.

Колбэк TrainerCallback, который записывает трассировки и результаты оценки в W&B Weave. Колбэк использует https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ для записи трассировок и результатов оценки на каждом шаге оценки.

Поддерживает два режима в зависимости от параметра scorers:

  • Режим трассировки (когда scorers=None): записывает предсказания для исследования и анализа данных
  • Режим оценки (при наличии оценщиков): логирует предсказания с оценками и сводными метриками

Оба режима используют EvaluationLogger из Weave для структурированного и согласованного ведения журнала данных.

Обратный вызов записывает данные во время фаз оценки (on_evaluate), а не на шагах обучения, что делает его более эффективным и семантически корректным. Он корректно обрабатывает отсутствие установки weave, записывая предупреждения и пропуская функциональность, специфичную для weave. Также он проверяет наличие существующих клиентов weave перед инициализацией новых.

Использование:

# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer)  # project_name optional
trainer.add_callback(weave_callback)

# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)


# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
    # Your scoring logic here (metadata available via eval_attributes)
    return score


weave_callback = WeaveTraceCallback(
    trainer=trainer,
    project_name="my-llm-training",  # optional and needed only if weave client is not initialized
    scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)

on_train_begin

< >

( argsstatecontrol**kwargs )

Инициализируйте Weave при начале обучения.

Update on GitHub