TRL documentation
Обработчики событий
Обработчики событий
RichProgressCallback
Класс TrainerCallback, отображающий ход обучения или оценки с помощью Rich.
LogCompletionsCallback
класс trl.LogCompletionsCallback
< source >( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )
Параметры
- trainer (
Trainer) — объект Trainer, к которому будет подключён callback. Набор данных для оценки в trainer должен содержать столбец"prompt"с промптами для генерации завершений. - generation_config (GenerationConfig, необязательный) — Конфигурация генерации, используемая для создания завершений.
- num_prompts (
int, необязательный) — Количество промптов, для которых будут генерироваться завершения. Если не указано, по умолчанию используется количество примеров в наборе данных для оценки. - freq (
int, необязательный) — Частота, с которой логируются завершения. Если не указано, по умолчанию используетсяeval_stepsтренера.
Класс TrainerCallback, который записывает результаты генерации в Weights & Biases и/или Comet.
BEMACallback
класс trl.BEMACallback
< source >( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )
Параметры
- update_freq (
int, необязательный, по умолчанию400) — Обновлять веса BEMA каждые X шагов. В статье обозначается как {@html "ϕ"} in the paper. - ema_power (
float, optional, defaults to0.5) — Power for the EMA decay factor. Denoted {@html "κ "} в статье. Чтобы отключить EMA, установите это значение в0.0. - bias_power (
float, необязательный, по умолчанию0.2) — степень для масштабирующего коэффициента BEMA. В статье обозначается как {@html "η \\eta η"}. Большое значение (например, 8.0) приводит к тому, что {@html "αt \\alpha_t αt"} стремится к 0, что приближается к отключённой коррекции смещения; значение 0.0, напротив, фиксирует {@html "αt \\alpha_t αt"} на уровне 1 на каждом шаге (максимальная, не затухающая коррекция). lag (int, необязательный, по умолчанию 10) — начальное смещение в расписании затухания весов, которое контролирует плавность на ранних этапах, выступая в роли виртуального начального возраста для обновлений. Обозначается как {@html "ρ \\rho ρ "}η"} in the paper. A large value (e.g.8.0) makes {@html "αt"} decay to0, approximating disabled bias-correction;0.0instead pins {@html "αt"} at1for every step (maximum, undecayed correction). - lag (
int, optional, defaults to10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ"} в статье. - update_after (
int, необязательный, по умолчанию0) — Время прогрева перед началом обновления весов BEMA. Обозначается как {@html "τ \\tau τ"} в статье. multiplier (float, необязательный, по умолчанию 1.0) — Начальное значение для коэффициента затухания EMA. Обозначается как {@html "γ \\gamma γ "}τ"} in the paper. - multiplier (
float, optional, defaults to1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ"} в статье. - min_ema_multiplier (
float, необязательный, по умолчанию0.0) — Минимальное значение для коэффициента затухания EMA. - device (
str, необязательный, по умолчанию"cpu") — Устройство для буферов BEMA, например"cpu"или"cuda". Обратите внимание, что в большинстве случаев это устройство ДОЛЖНО БЫТЬ РАЗЛИЧНЫМ от устройства, используемого для обучения, чтобы избежать OOM.
Класс TrainerCallback, реализующий BEMA (Bias-Corrected Exponential Moving Average) от Adam Block и Cyril Zhang. Код из https://github.com/abblock/bema под лицензией MIT.
BEMA вычисляет веса модели, которые масштабируются следующим образом:
где — текущие веса модели, — снимок весов модели на первом update_after шаге — экспоненциальное скользящее среднее весов модели, а — коэффициент масштабирования, который затухает с числом шагов по формуле
EMA вычисляется следующим образом:
где — коэффициент затухания, который уменьшается с числом шагов по закону
WeaveCallback
класс trl.WeaveCallback
< source >( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )
Параметры
- trainer (
Trainer) — объект Trainer, к которому будет подключён callback. Набор данных для оценки в trainer должен содержать столбец"prompt"с промптами для генерации завершений. - project_name (
str, необязательный) — Имя проекта Weave, в который будут записываться данные. Если не указано, будет попытаться использовать существующий клиент weave или откатиться к имени проекта активного запуска wandb. Выбрасывает ошибку, если ни один из этих вариантов недоступен. - scorers (
dict[str, Callable], необязательный) — Словарь, сопоставляющий имена оценщиков с функциями-оценщиками. ЕслиNone, работает в режиме трассировки (только предсказания). Если передан, работает в режиме оценки (предсказания + оценки + сводка). Функции-оценщики должны иметь сигнатуру:scorer(prompt: str, completion: str) -> float | int - generation_config (GenerationConfig, необязательный) — Конфигурация генерации, используемая для создания завершений.
- num_prompts (
int, необязательный) — Количество промптов, для которых будут генерироваться завершения. Если не указано, по умолчанию используется количество примеров в наборе данных для оценки. - dataset_name (
str, необязательный, по умолчанию"eval_dataset") — Имя для метаданных набора данных в Weave. - model_name (
str, необязательный) — Имя для метаданных модели в Weave. Если не указано, выполняется попытка извлечь его из конфигурации модели.
Колбэк TrainerCallback, который записывает трассировки и результаты оценки в W&B Weave. Колбэк использует https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ для записи трассировок и результатов оценки на каждом шаге оценки.
Поддерживает два режима в зависимости от параметра scorers:
- Режим трассировки (когда scorers=None): записывает предсказания для исследования и анализа данных
- Режим оценки (при наличии оценщиков): логирует предсказания с оценками и сводными метриками
Оба режима используют EvaluationLogger из Weave для структурированного и согласованного ведения журнала данных.
Обратный вызов записывает данные во время фаз оценки (on_evaluate), а не на шагах обучения, что делает его более эффективным и семантически корректным. Он корректно обрабатывает отсутствие установки weave, записывая предупреждения и пропуская функциональность, специфичную для weave. Также он проверяет наличие существующих клиентов weave перед инициализацией новых.
Использование:
# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer) # project_name optional
trainer.add_callback(weave_callback)
# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)
# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
# Your scoring logic here (metadata available via eval_attributes)
return score
weave_callback = WeaveTraceCallback(
trainer=trainer,
project_name="my-llm-training", # optional and needed only if weave client is not initialized
scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)Инициализируйте Weave при начале обучения.