TRL documentation

vLLM 統合

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

vLLM 統合

このドキュメントでは、GRPOやOnline DPOなどのオンライン手法において、vLLMをTRLと組み合わせてより高速な生成を行う方法を解説します。まず、vLLMをTRLと組み合わせて使用する方法の要約(tl;dr)を提示し、その後、内部でどのように動作しているかという詳細について説明します。

TRLは現在、0.23.0から0.33.xまでのvLLMバージョンのみをサポートしています。互換性の問題を避けるために、この範囲内のバージョンがインストールされていることを確認してください。

現在、vLLMによる生成をサポートしているトレーナーは以下の通りです。

🚀 vLLMをTRLと組み合わせてトレーニングを高速化するにはどうすればよいですか?

💡 注: この特定の例に必要なリソース: 8つのGPUを備えた単一ノード。

TRLでvLLMを使用する場合は、競合を避けるために、vLLMサーバーとtrainerを別々のCUDAデバイスで実行する必要があります。 この設定方法については、トレーニング中のvLLMの使用方法を参照してください。

まず、以下のコマンドを使用してvLLMをインストールします。

pip install "trl[vllm]"

その後、特定のGPU(例:GPU 0-3)でサーバーを実行します:

CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-7B --tensor-parallel-size 4 \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1

サーバーが起動したら、トレーニング用の補完を生成するために使用できます。以下の例では、vLLMサーバーを生成に使用して、サポートされているさまざまなトレーナーを使用しています。--tensor-parallel-sizeおよび--data-parallel-size引数は、モデルとデータをGPU間でどのようにシャーディングするかを制御します。

この例では、テンソル並列性を使用して1つのモデルを4つのGPUにシャードします。次に、トレーニング引数にuse_vllm=Trueを渡すことで、異なるGPU(例:GPU 4-7)でトレーニングスクリプトを実行します。

シンプルなtrain.pyスクリプトの例:

GRPO
OnlineDPO
RLOO
from datasets import load_dataset
from trl import GRPOTrainer, GRPOConfig
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-7B",
    args=GRPOConfig(use_vllm=True, vllm_mode="server"),
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)

trainer.train()

そして、サーバーとは別のGPUでtrainコマンドを実行します:

CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py

vLLMを使用する理由

オンライン手法では、学習中に補完を生成しますが、モデル自身のgenerateでそれらを生成することがボトルネックとなります。PagedAttentionなどの技術のおかげで、vLLMはこれらの補完を大幅に高速にサーブできます。

TRLがサーバーを使用する方法🔍

Trainer は、OpenAI 互換の /v1/completions エンドポイントに対して補完を要求し、プロンプトのトークン ID を送信します。マルチモーダルなプロンプトは別の経路をたどります。サーバーが画像を独自に処理し、得られた特徴量は、OpenAI 互換のエンドポイントがトークン ID と画像を同時に受け入れられないため、/inference/v1/generate 上で同じトークン ID とペアリングされます。

サーバーは生成のみを行います。各オプティマイザーステップの後、トレーナーは更新された重みをNCCL経由でサーバーにストリーミングし、/start_weight_updateと/update_weightsでそれを通知し、/finish_weight_updateでコミットします。

高度な使用方法

🍷 vLLMによるさらなるカスタマイズオプション

vllm serve の引数を渡すことでサーバー設定をカスタマイズできます。例えば --tensor-parallel-size、--data-parallel-size、--max-model-len、--enable-prefix-caching、--enforce-eager、--kv-cache-dtype、--trust-remote-code などです。全リストを確認するには vllm serve --help を実行してください。

TRLで必須なのは、以下の項目のみです:

設定なぜ
VLLM_SERVER_DEV_MODE=1学習重みをサーバーにプッシュするために使用される、重み転送およびプレフィックスキャッシュのエンドポイントを公開します。また、vLLMのその他の開発用エンドポイントも公開されるため、サーバーは信頼できるネットワーク上に配置してください。
--weight-transfer-config '{"backend": "nccl"}'NCCLのウェイト転送エンジンを有効にします。トレーナーとサーバーがGPUを共有している場合は、代わりに"ipc"を使用してください。
--logprobs-mode processed_logprobs温度スケーリングとlogit処理後のlogprobsを返します。これは、importance sampling補正が期待するものです。
--max-logprobs -1トークンごとのlogprobsの上限をOpenAI互換の20から引き上げ、蒸留のためにtop-k教師分布をリクエストできるようにします。
--enable-scale-outvLLM 0.30.0 以降、マルチモーダルプロンプトおよび--return-sampling-maskの場合のみ: トレーナーが画像を処理し、各サンプリングされたトークンの候補セットを取得するために使用する/v1/chat/completions/renderと/inference/v1/generateを登録します。以前のバージョンでは、このフラグは拒否されます。

trl vllm-serve は非推奨になりました。現在、このコマンドを構築して vLLM のサーバーを実行するだけです。実行する正確な vllm serve コマンドを出力するため、コピーしてラッパーを削除できます。

💆🏻‍♀️ 最適な分散セットアップはどれですか?

--tensor-parallel-size を使用して生成をスケーリングします。データ並列性は、Denseモデルにはもはや有効ではありません。vLLM PR #30739(0.14.0 でリリース)以降、非MoEモデルのオフラインデータ並列スケーリングはサポートされていません。

Transformers バックエンド付き vLLM

vLLMは、LLMおよびVLMの両方で動作するモデル実装として、Transformersバックエンドを使用できます。 これを有効にするには、設定でvllm_model_impl="transformers"を設定するか、コマンドライン引数として渡してください。

詳細については、vLLM Transformers Backendを参照してください。

例:

CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-VL-3B-Instruct \
    --tensor-parallel-size 1 --port 8000 --enforce-eager --model-impl transformers \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1 \
    --enable-scale-out  # vLLM 0.30.0 and later, drop on earlier versions

トレーニング中のvLLMの使用方法

TRLは、トレーニング中のvLLM統合のために2つのモードをサポートしています:colocateモード(デフォルト)とserverモードです。

Colocateモード

colocate モードでは、vLLM はトレーナープロセス内で実行され、学習モデルと GPU メモリを共有します。これにより、別のサーバーを起動する必要がなくなり、GPU の利用効率を向上させることができますが、学習用 GPU 上でメモリ競合が発生する可能性があります。これがデフォルトのモードです。

設定の例:

GRPO
OnlineDPO
RLOO
from trl import GRPOConfig

training_args = GRPOConfig(
    ...,
    use_vllm=True,  # vllm_mode="colocate" by default
)

サーバーモード

サーバーモードでは、vLLMは専用のGPU上で独立したプロセスとして実行され、HTTP経由でトレーナーと通信します。 推論に専用のGPUがある場合、この構成が最適です。

設定の例:

GRPO
OnlineDPO
RLOO
from trl import GRPOConfig

training_args = GRPOConfig(
    ...,
    use_vllm=True,
    vllm_mode="server",
)

vLLMの使用方法とパラメータの詳細については、使用しているトレーナーのドキュメントを参照してください。

vLLMの実行時にGPUメモリ使用量を削減するには、vLLMのスリープモードを有効にすることを検討してください。

Update on GitHub