TRL documentation

TRL - Transformers による強化学習

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TRL - Transformers による強化学習

TRLはフルスタックのライブラリであり、Supervised Fine-Tuning (SFT)、Group Relative Policy Optimization (GRPO)、Direct Preference Optimization (DPO)、Reward Modelingなどの手法を用いてtransformer言語モデルを訓練するためのツールセットを提供しています。 このライブラリは🤗 transformersと統合されています。

🎉 新着情報

⚡ AsyncGRPOTrainer が安定版になりました: AsyncGRPOTrainer が安定版 API に昇格しました。生成と学習を分離することで、GRPO の実行を大幅に高速化します。vLLM サーバーがロールアウトをストリーミングで配信する間、トレーナーがモデルを更新します。

分類

以下は、TRLのトレーナーを成熟度と手法の種類別に整理した概要です。

オンライン手法

報酬モデリング

オフライン手法

知識蒸留

実験的

TRL Hugging Face organizationで、TRL関連のモデル、データセット、デモも探索できます。

学習

🤗 smol courseで、TRLやその他のライブラリを使ったポストトレーニングを学びましょう。

目次

ドキュメントは以下のセクションに構成されています:

  • はじめる: インストールとクイックスタートガイド。
  • コンセプトガイド: データセットの形式、学習に関する FAQ、ログの理解。
  • ハウツーガイド: メモリ使用量の削減、トレーニングの高速化、トレーニングの分散化など
  • 統合: DeepSpeed、PEFT など
  • 例: 例の概要、コミュニティのチュートリアルなど。
  • API:トレーナー、ユーティリティなど

ブログ記事

thumbnail

2026年5月27日に公開

Hub バケットで 1 兆パラメータを配信する:TRL における Delta Weight Sync

thumbnail

2026年3月31日に公開

TRL v1: 分野が自らの前提を無効化する状況でも通用するポストトレーニングライブラリ

thumbnail

2026年3月10日に公開

トークンを止めない: 16のオープンソースRLライブラリから得た教訓

thumbnail

2026年3月9日に公開

Ulysses シーケンス並列性: 百万トークンコンテキストでの学習

thumbnail

2025年10月23日公開

オープンエージェントエコシステムを共に構築する:OpenEnvの紹介

thumbnail

2025年8月7日に公開

TRLにおけるビジョン言語モデルのアライメント ⚡️

thumbnail

2025年6月3日に公開

NO GPU left behind: TRLにおけるCo-located vLLMによる効率性の解放

thumbnail

2025年5月25日に公開

🐯 Liger GRPOとTRLの出会い

thumbnail

2025年1月28日に公開

Open-R1: DeepSeek-R1の完全なオープン再現

thumbnail

2024年7月10日に公開

TRLによるビジョン言語モデルのPreference Optimization

thumbnail

2024年6月12日に公開

RLHFにRLを取り戻す

thumbnail

2024年1月10日に公開

Unslothと🤗 TRLでLLMのファインチューニングを2倍速く

thumbnail

2023年9月29日に公開

TRLによるDDPOでStable Diffusionモデルのファインチューニング

thumbnail

2023年8月8日に公開

DPOでLlama 2をファインチューニング

thumbnail

2023年4月5日に公開

StackLLaMA: RLHFでLLaMAを学習するための実践ガイド

thumbnail

2023年3月9日に公開

24GBのコンシューマー向けGPUでRLHFを用いて20BのLLMをファインチューニング

thumbnail

2022年12月9日に公開

人間のフィードバックによる強化学習の図解

トーク

Update on GitHub