TRL documentation
Callbacks
Callbacks
RichProgressCallback
Um TrainerCallback que exibe o progresso do treinamento ou da avaliação usando Rich.
LogCompletionsCallback
classe trl.LogCompletionsCallback
< source >( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )
Parâmetros
- trainer (
Trainer) — Trainer ao qual o callback será anexado. O conjunto de dados de avaliação do trainer deve incluir uma coluna"prompt"contendo os prompts para gerar as conclusões. - generation_config (GenerationConfig, opcional) — A configuração de geração a ser usada para gerar complementos.
- num_prompts (
int, opcional) — O número de prompts para os quais gerar completions. Se não for fornecido, o valor padrão é o número de exemplos no conjunto de dados de avaliação. - freq (
int, opcional) — A frequência com que os completamentos devem ser registrados. Se não for fornecida, o valor padrão é oeval_stepsdo trainer.
Uma TrainerCallback que registra as conclusões no Weights & Biases e/ou no Comet.
BEMACallback
classe trl.BEMACallback
< source >( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )
Parâmetros
- update_freq (
int, opcional, padrão é400) — Atualiza os pesos do BEMA a cada X passos. Denotado como {@html "ϕ"} in the paper. - ema_power (
float, optional, defaults to0.5) — Power for the EMA decay factor. Denoted {@html "κ "} no artigo. Para desativar o EMA, defina este valor como0.0. - bias_power (
float, opcional, padrão é0.2) — Potência para o fator de escala do BEMA. Denotado como {@html "η \\eta η"} no artigo. Um valor grande (por exemplo, 8.0) faz {@html "αt \\alpha_t αt"} decair para 0, aproximando a correção de viés desativada; 0.0, por outro lado, fixa {@html "αt \\alpha_t αt"} em 1 para cada etapa (correção máxima, sem decaimento). lag (int, opcional, padrão é 10) — Deslocamento inicial no agendamento de decaimento de peso que controla a suavidade nas etapas iniciais, atuando como uma idade inicial virtual para as atualizações. Denotado como {@html "ρ \\rho ρ "}η"} in the paper. A large value (e.g.8.0) makes {@html "αt"} decay to0, approximating disabled bias-correction;0.0instead pins {@html "αt"} at1for every step (maximum, undecayed correction). - lag (
int, optional, defaults to10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ"} no artigo. - update_after (
int, opcional, padrão é0) — Tempo de aquecimento antes de começar a atualizar os pesos do BEMA. Denotado como {@html "τ \\tau τ"} no artigo. multiplier (float, opcional, padrão é 1.0) — Valor inicial para o fator de decaimento do EMA. Denotado como {@html "γ \\gamma γ "}τ"} in the paper. - multiplier (
float, optional, defaults to1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ"} no artigo. - min_ema_multiplier (
float, opcional, padrão0.0) — Valor mínimo para o fator de decaimento da EMA. - device (
str, opcional, padrão"cpu") — Dispositivo a ser usado para os buffers BEMA, por exemplo,"cpu"ou"cuda". Observe que, na maioria dos casos, esse dispositivo DEVE SER DIFERENTE do dispositivo usado para o treinamento, a fim de evitar OOM.
Uma TrainerCallback que implementa BEMA (Bias-Corrected Exponential Moving Average) de Adam Block e Cyril Zhang. Código de https://github.com/abblock/bema sob licença MIT.
O BEMA calcula pesos do modelo que são escalados da seguinte forma:
onde são os pesos atuais do modelo, é um instantâneo dos pesos do modelo no primeiro update_after passo, é a média móvel exponencial dos pesos do modelo, e é um fator de escala que decai com o número de passos como
O EMA é calculado como:
onde é um fator de decaimento que decai com o número de passos como
WeaveCallback
classe trl.WeaveCallback
< source >( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )
Parâmetros
- trainer (
Trainer) — Trainer ao qual o callback será anexado. O conjunto de dados de avaliação do trainer deve incluir uma coluna"prompt"contendo os prompts para gerar as conclusões. - project_name (
str, opcional) — Nome do projeto Weave onde os dados serão registrados. Se não for fornecido, tentará usar o cliente weave existente ou recorrerá ao nome do projeto da execução ativa do wandb. Lança um erro se nenhum desses estiver disponível. - scorers (
dict[str, Callable], opcional) — Dicionário que mapeia nomes de classificadores para funções de classificação. SeNone, opera no modo de rastreamento (apenas previsões). Se fornecido, opera no modo de avaliação (previsões + pontuações + resumo). As funções de classificação devem ter a assinatura:scorer(prompt: str, completion: str) -> float | int - generation_config (GenerationConfig, opcional) — Configuração de geração a ser usada para gerar complementos.
- num_prompts (
int, opcional) — O número de prompts para os quais gerar completions. Se não for fornecido, o valor padrão é o número de exemplos no conjunto de dados de avaliação. - dataset_name (
str, opcional, padrão"eval_dataset") — Nome para os metadados do conjunto de dados no Weave. - model_name (
str, opcional) — Nome para os metadados do modelo no Weave. Se não for fornecido, tenta extrair da configuração do modelo.
Um TrainerCallback que registra traces e avaliações no W&B Weave. O callback usa https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ para registrar traces e avaliações em cada etapa de avaliação.
Suporta dois modos com base no parâmetro scorers:
- Modo de Rastreamento (quando scorers=None): Registra as previsões para exploração e análise de dados
- Modo de avaliação (quando pontuadores são fornecidos): Registra previsões com pontuação e métricas de resumo
Ambos os modos usam o EvaluationLogger do Weave para registro de dados estruturado e consistente.
O callback registra dados durante as fases de avaliação (on_evaluate) em vez de nos passos de treinamento, tornando-o mais eficiente e semanticamente correto. Ele trata adequadamente a ausência da instalação do weave, registrando avisos e ignorando a funcionalidade específica do weave. Ele também verifica a existência de clientes weave antes de inicializar novos.
Uso:
# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer) # project_name optional
trainer.add_callback(weave_callback)
# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)
# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
# Your scoring logic here (metadata available via eval_attributes)
return score
weave_callback = WeaveTraceCallback(
trainer=trainer,
project_name="my-llm-training", # optional and needed only if weave client is not initialized
scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)Inicialize o Weave quando o treinamento começar.