TRL documentation
環境を用いたLLMの学習のためのHarbor統合
環境を用いたLLMの学習のためのHarbor統合
Harborは、サンドボックス内でエージェント型タスクを実行するためのフレームワークです。タスク(指示 + サンドボックスイメージ + バリデータ)、ハーネス/エージェント(ツールサーフェス + ループ)、サンドボックス(docker、e2b、daytona、gke、…)を分離し、自由に組み合わせられるようにしています。これにより、RLとの親和性が高まります。同じタックスイートを用いて、異なるツールサーフェスで、お好みのサンドボックスバックエンド上で学習を行うことが可能になります。
このガイドでは、HarborをTRLに統合する方法について説明します。Harbor自体については、Harborのドキュメントを参照してください。
統合は
trl.experimental.harborにあり、trl[harbor]エクストラによってゲートされています(遅延インポートのため、非ユーザーにはコストがかかりません)。
Harbor環境を使用するタイミング
GRPOTrainer は、environment_factory スロットを介した環境ベースのトレーニングをサポートしています。一般的な契約については、OpenEnv を参照してください。Harbor タスクスイート に対してトレーニングを行いたい場合は、Harbor を使用します。Harbor タスクスイートとは、タスクのディレクトリツリーであり、各タスクは自己完結型のサンドボックスと検証器で構成されています(例えば、モデルがサンドボックス内のファイルを探索し、採点者がチェックする回答を書き出す、データ分析エージェントのスイートなど)。
インストール
pip install trl[harbor]
Harbor は vLLM を介して生成を駆動し、
environment_factoryを使用します。これにはvllmおよびtransformers>=5.2.0が必要です。pip install vllm
これにより、harbor フレームワーク(Python >= 3.12)がインストールされます。この統合は harbor を遅延インポートし、プロセス内で 実行するため、trl.experimental.harbor を使用しないユーザーには影響がありません。
サンドボックスバックエンドも、学習時にインストールされ、アクセス可能である必要があります。Harborはクラウドバックエンドを独自のextrasに格納しているため、使用する予定のものをインストールし、その認証情報を提供してください。
pip install "harbor[e2b]" # E2B cloud sandbox -> environment_type="e2b", needs E2B_API_KEY
# docker backend (environment_type="docker", Harbor's default) just needs a reachable Docker daemonクイックスタート
HarborSpecは、HarborのタスクスイートをTRLトレーナーの3つのスロット、train_dataset、environment_factory、reward_funcsに接続します。これらは、これらのkwarg名と1対1で対応するプロパティを公開することによって行われます。
from trl import GRPOConfig, GRPOTrainer
from trl.experimental.harbor import HarborSpec
spec = HarborSpec("AdithyaSK/data_agent_rl_environment_train", agent="bash", num_tasks=64)
trainer = GRPOTrainer(
model="Qwen/Qwen3-4B",
args=GRPOConfig(
num_generations=8,
max_steps=50,
max_tool_calling_iterations=25,
log_completions=True,
),
train_dataset=spec.train_dataset,
environment_factory=spec.environment_factory,
reward_funcs=spec.reward_funcs,
)
trainer.train()HarborSpec は内部で、初回アクセス時に遅延実行として3つの処理を行います。
spec.train_dataset: タスクスイートをローカルのタスクディレクトリに解決し(必要に応じて HF データセットをダウンロードします)、prompt(空 — 環境の指示はreset時に追加されます)、task_dir、task_index、およびタスクごとのtask.tomlメタデータ列を含むdatasets.Datasetを構築します。spec.environment_factory: 各ロールアウトごとに新しいHarborEnvを生成する、引数なしの呼び出し可能オブジェクトを返します。reset(task_dir)では、タスクのHarborサンドボックスを起動し、その指示を返します。ツールメソッドはサンドボックス内で実行され、env.rewardはロールアウト後に検証器を一度実行します。spec.reward_funcs: Harborの検証器がロールアウトごとにスカラー値として返す結果報酬を読み取る報酬関数。
データセット
dataset は、Harbor タスクツリーを含む Hugging Face データセットリポジトリの ID、または tasks/ サブツリーを含むローカルパスのいずれかです。各タスクはディレクトリです:
tasks/<task_id>/
├── instruction.md # the task prompt (returned by reset)
├── task.toml # config + metadata (gold answer, difficulty, ...)
├── environment/ # Dockerfile (+ any pre-agent data hooks)
└── tests/ # test.sh / grader → writes the rewardnum_tasksまたはindices(排他的)でサブセットを選択します:
spec = HarborSpec("AdithyaSK/data_agent_rl_environment_train", num_tasks=10) # first 10
spec = HarborSpec("AdithyaSK/data_agent_rl_environment_train", indices=[0, 5, 13]) # specificエージェント: 外部 vs インストール済み
Harborでは、エージェントがタスクを駆動する2つの方法をサポートしており、この違いがRLで学習できるものを決定します。
- 外部エージェントはサンドボックスの外側で動作し、ループを自ら駆動します。Harbor の環境インターフェースを介してコンテナ内にコマンドを発行します(「通常は
execメソッドを介して bash コマンドを実行する」)。エージェントが各アクションを決定し、各結果を解釈します。サンドボックスは実行のみを行います。 - インストール済みエージェントはコンテナイメージにインストールされ、ヘッドレスなサブプロセスとして実行されます(
BaseInstalledAgentを拡張)。Harborはサンドボックス内でエージェントを起動し、その後その軌跡ファイルを解析します(populate_context_post_run)。エージェントは独自の推論を伴い自律的に実行されます。
TRLの統合は外部エージェントパターンであり、現時点ではこのパターンのみがサポートされています。 RLトレーニングでは、トレーナーがロールアウトをターンごとに駆動する必要があります。つまり、トレーニング中のポリシーモデルが各ターンを生成し、TRLはそのトークンとlog-probをキャプチャして環境マスクを適用します。これは、ブラックボックスのrollout_funcに対してenvironment_factoryが提供する機能と完全に一致します。インストールされたエージェントはこれに対して不透明です。エージェントはコンテナ内で独自のモデルを実行し、事後にトラジェクトリを出力するだけなので、トレーナーが最適化するためのポリシートークンやlog-probが存在せず、トレーニング中のモデルは呼び出されません。したがって、HarborEnvは外部エージェントです。そのツールメソッドはexecによってサンドボックスに実行されますが、ループとトレーニング中のモデルはTRL内に留まります。
ベースエージェント(ハーネス)の選択
ベースエージェントはハーネスであり、envが公開するツールメソッドと、その提出方法を決定します。agent=で選択します。
HarborSpec(dataset, agent="bash") # built-in single-bash-tool harness
HarborSpec(dataset, agent="my_pkg.harnesses:JupyterEnv") # import path to your HarborEnv subclass
HarborSpec(dataset, agent="path/to/harness.py:JupyterEnv") # file path to your HarborEnv subclass
HarborSpec(dataset, agent=MyHarborEnv) # a HarborEnv subclass directly組み込みの"bash"ハーネス(HarborBashEnv)は、bashツールを1つ公開し、/workdir/answer.txtに書き込むことで送信します。よりリッチな2つのハーネスがサンプルとして提供されており、それぞれがツールの一覧を記載したREADMEを含む独自のフォルダに配置され、examples/grpo_harbor/harnesses/の下にあります:
jupyter/(JupyterEnv) — 状態を持つ Python カーネル(変数がセル間で保持される)+ シェルツール。terminal_notes/(TerminalNotesEnv) — 6つのシェルツール(バックグラウンドプロセスを含む)+ 4ツールの永続的なノートツールキット。
HarborSpec(dataset, agent="examples/grpo_harbor/harnesses/jupyter/env.py:JupyterEnv")
HarborSpec(dataset, agent="examples/grpo_harbor/harnesses/terminal_notes/env.py:TerminalNotesEnv")独自のハーネスを作成するには、HarborEnvをサブクラス化し、ツールメソッドを追加します。すべての公開メソッドがツールとして扱われるため(TRLはinspect.getmembersでこれらを検出します)、各メソッドに型付きのシグネチャとドキュメント文字列(ツールスキーマの構築に使用されます)を付与してください。ヘルパーメソッドはアンダースコアで接頭辞を付けます。サンドボックス内でシェルコマンドを実行するにはself._exec(cmd)を使用し、タスク指示にハーネスのガイダンスを追加するにはPROMPT_SUFFIXを設定します。
from trl.experimental.harbor import HarborEnv
class GrepEnv(HarborEnv):
PROMPT_SUFFIX = "\n\nUse `grep` and `read_file`. Submit by writing /workdir/answer.txt."
def grep(self, pattern: str, path: str) -> str:
"""Search for `pattern` under `path`.
Args:
pattern: The regex to search for.
path: The file or directory to search.
"""
return self._exec(f"grep -rn {pattern!r} {path!r}")サンドボックスバックエンド
environment_type は検証されず、そのまま Harbor に渡されます:
HarborSpec(dataset, environment_type="e2b") # cloud sandbox (offloads provisioning), needs E2B_API_KEY
HarborSpec(dataset, environment_type="docker") # default; needs a local Docker daemone2bはクラスターでの学習に推奨されます。environment.execのみがクラウドサンドボックスに渡されるため、GPUはポリシーに専念でき、多数のロールアウトを並行して実行できます。
報酬関数
spec.reward_funcs のデフォルトは成果報酬です。各ロールアウトごとに、Harbor バリデータのスカラー値(env.reward)を読み取ります。この値は、ロールアウト後にサンドボックス内でタスクの tests/ バリデータを一度実行して計算されます。カスタム報酬を使用する場合は、通常の TRL 報酬関数を作成してください。
def my_reward(environments, **kwargs) -> list[float]:
return [env.reward for env in environments]API
class trl.experimental.harbor.HarborSpec
< source >( dataset: stragent: str | type[HarborEnv] = 'bash'environment_type: str = 'docker'num_tasks: int | None = Noneindices: list[int] | None = Noneinclude_metadata: bool = True )
パラメータ
- dataset (
str) — Harbor タスクツリー(例:"AdithyaSK/data_agent_rl_environment_train")を含む Hugging Face データセットリポジトリの ID、またはtasks/サブツリーを含むディレクトリへのローカルパス。各タスクは、instruction.md/task.toml/environment//tests/を含むディレクトリです。 - agent (
strまたはtype、省略可能、デフォルトは"bash") — ベースとなるエージェント / ハーネス、つまり env が公開するツールサーフェスです。以下のいずれかです: 組み込み名 ("bash")、インポートパス"package.module:ClassName"、ファイルパス"path/to/file.py:ClassName"、または HarborEnv のサブクラスを直接指定します。 - environment_type (
str、任意、デフォルトは"docker") — Harbor のサンドボックスバックエンドです。Harbor にそのまま渡されます(Harbor がサポートするもの、例えば"docker"、"e2b"、"daytona"、"gke"、"modal"、"runloop"など)。ここでは検証されません。Harbor 側で検証されます。Harbor 自身のデフォルトは"docker"です。サンドボックス処理をクラウドにオフロードするには"e2b"を選択してください。 - num_tasks (
int, 省略可) — データセットに取り込むタスク数の上限。Noneの場合、ツリー内のすべてのタスクを使用します。 - indices (
list[int]、任意) — ソートされたタスクリスト内の特定のタスクのインデックス。num_tasksと排他です。 - include_metadata (
bool、省略可能、デフォルトはTrue) — タスクごとのtask.tomlメタデータ(gold_answer、difficulty など)をデータセットの行に折り込みます。
HarborタスクスイートをTRLトレーナーに接続する単一のspecオブジェクト。
class trl.experimental.harbor.HarborEnv
< source >( environment_type: str = 'docker' )
Harborのサンドボックスと検証器をバックエンドとする、ベースとなるTRL環境。
サブクラスはツールメソッド(ハーネス)を定義します。TRL がロールアウトごとに駆動するライフサイクルは以下の通りです: reset(task_dir)(タスクのサンドボックスを起動し、その指示を返す)-> ツールメソッド(サンドボックス内で実行)-> reward(ロールアウト後に、検証器を遅延評価で一度だけ実行)。
単一のbashツールによるハーネス。/workdir/answer.txtに書き込むことで提出します。
サンドボックス内でシェルコマンドを実行し、そのstdoutとstderrの結合された出力を返します。シェルは呼び出し間で状態を保持しません。ファイルの探索(ls、head、cat)、Pythonの実行(python3 -c "...")、および回答の送信(echo -n "<value>" > /workdir/answer.txt)に使用します。
制限事項
- 統合は
trl.experimentalにあります — API は変更される可能性があります。CI ログで警告を無効にするには、TRL_EXPERIMENTAL_SILENCE=1を設定してください。 - Harborの非同期サンドボックスクライアントは1つのイベントループにバインドされるため、各envは自身のループ上でstart/exec/verifyを同期的に駆動します。そのため、世代バッチ全体でのサンドボックスのプロビジョニングは逐次的に行われます(
e2bのようなクラウドバックエンドは、サンドボックスごとのコストを軽減します)。 - 1つの
HarborSpecは、1つのタスクスイートと1つのハーネスをカバーします。複数スイートでのトレーニングは、まだサポートされていません。