# Ejemplos

El directorio [`examples/`](https://github.com/huggingface/trl/tree/main/examples) contiene una colección de ejemplos autónomos que demuestran cómo usar la biblioteca TRL para diversas aplicaciones. **Cada ejemplo se encuentra en su propia carpeta** nombrada según el método y la tarea que ilustra (p. ej. `grpo_wordle`, `sft_gpt_oss_chess`), y contiene todo lo que el ejemplo necesita: scripts, notebooks, prompts, plantillas de chat y código de evaluación.

Los scripts básicos de entrenamiento con un solo entrenador no son ejemplos: se encuentran en [`trl/scripts`](https://github.com/huggingface/trl/tree/main/trl/scripts) y se exponen a través de la [interfaz de línea de comandos](clis) (`trl sft`, `trl dpo`, `trl grpo`, …). La página de documentación de cada entrenador también contiene un fragmento completo y ejecutable.

Los recursos compartidos se encuentran en la raíz de `examples/`:

- [`examples/deepspeed_configs`](https://github.com/huggingface/trl/tree/main/examples/deepspeed_configs): archivos de configuración de DeepSpeed ZeRO, que se pasan con `--deepspeed` y se utilizan en muchos ejemplos.
- [`examples/fsdp_configs`](https://github.com/huggingface/trl/tree/main/examples/fsdp_configs): archivos de configuración de FSDP, que se pasan con `--fsdp --fsdp_config` (un `--fsdp` simple en la línea de comandos requiere transformers 5.10 o posterior; con versiones anteriores, establece `fsdp=True` en la configuración de entrenamiento).
- [`examples/datasets`](https://github.com/huggingface/trl/tree/main/examples/datasets): los scripts utilizados para generar los conjuntos de datos de `trl-lib` que se usan en los ejemplos.

**Introducción**

Instale TRL y las dependencias adicionales de la siguiente manera:

```bash
pip install --upgrade trl[quantization]
```

Consulte las dependencias opcionales adicionales [aquí](https://github.com/huggingface/trl/blob/main/pyproject.toml). Los ejemplos basados en notebooks son autosuficientes y pueden ejecutarse en **Colab gratuito**; los ejemplos basados en scripts se ejecutan en configuraciones de GPU única, multi-GPU o DeepSpeed (consulte [Entrenamiento distribuido](#distributed-training) a continuación).

## Índice

| Ejemplo | Descripción | Abrir en Colab |
| --- | --- | --- |
| [`async_distillation_math`](https://github.com/huggingface/trl/tree/main/examples/async_distillation_math) | Destilación asincrónica on-policy en GSM8K con [experimental.async_distillation.AsyncDistillationTrainer](/docs/trl/v1.18.0/es/async_distillation_trainer#trl.experimental.async_distillation.AsyncDistillationTrainer): el modelo maestro se sirve a través de HTTP con vLLM. | |
| [`async_distillation_mopd`](https://github.com/huggingface/trl/tree/main/examples/async_distillation_mopd) | Destilación en política con múltiples maestros (MOPD) con [experimental.async_distillation.AsyncDistillationTrainer](/docs/trl/v1.18.0/es/async_distillation_trainer#trl.experimental.async_distillation.AsyncDistillationTrainer): fusiona los expertos de matemáticas, código y seguimiento de instrucciones de Open-MOPD en su punto de control SFT: de 17,5 a 24,2 en AIME24 y de 67,5 a 73,0 en IFEval en 60 pasos (script, lanzador de Hugging Face Jobs y README con los resultados). | |
| [`async_grpo_harbor`](https://github.com/huggingface/trl/tree/main/examples/async_grpo_harbor) | Entrenamiento AsyncGRPO en un conjunto de tareas de [Harbor](https://huggingface.co/docs/openenv/environments/harbor) a través de cualquier agente de programación instalado (`mini-swe-agent`, `opencode`, `claude-code`, ...) servido mediante [OpenEnv](openenv): el agente posee su propio bucle en un sandbox y TRL entrena con los ids de tokens y logprobs registrados por el proxy de captura. | |
| [`async_grpo_math`](https://github.com/huggingface/trl/tree/main/examples/async_grpo_math) | GRPO asíncrono en GSM8K con [AsyncGRPOTrainer](/docs/trl/v1.18.0/es/async_grpo_trainer#trl.AsyncGRPOTrainer), desacoplando la generación (servidor vLLM) del entrenamiento, e incluyendo una variante LoRA que sincroniza solo el adaptador con el servidor vLLM. | |
| [`dpo_reduce_hallucinations`](https://github.com/huggingface/trl/tree/main/examples/dpo_reduce_hallucinations) | Ajuste fino con DPO de un modelo de lenguaje visual para reducir alucinaciones utilizando el conjunto de datos [openbmb/RLAIF-V-Dataset](https://huggingface.co/datasets/openbmb/RLAIF-V-Dataset). | |
| [`gold_chatbot_arena`](https://github.com/huggingface/trl/tree/main/examples/gold_chatbot_arena) | Destilación de logit en línea general (GOLD) de un maestro Qwen2 a un estudiante Llama 3.2 (tokenizador cruzado) en chatbot_arena_completions con [experimental.gold.GOLDTrainer](/docs/trl/v1.18.0/es/gold_trainer#trl.experimental.gold.GOLDTrainer), con variantes de entrenamiento completo y LoRA. | |
| [`gold_qwen3_vl`](https://github.com/huggingface/trl/tree/main/examples/gold_qwen3_vl) | Destilación de logit en línea general (GOLD) de Qwen3-VL-8B en estudiantes VLM más pequeños con [experimental.gold.GOLDTrainer](/docs/trl/v1.18.0/es/gold_trainer#trl.experimental.gold.GOLDTrainer), cubriendo la destilación de la misma familia (pérdida JSD) y entre familias (pérdida ULD). | |
| [`grpo_2048`](https://github.com/huggingface/trl/tree/main/examples/grpo_2048) | GRPO con llamadas a herramientas para enseñar a un modelo a jugar al juego 2048. | |
| [`grpo_browsergym`](https://github.com/huggingface/trl/tree/main/examples/grpo_browsergym) | GRPO con el entorno [OpenEnv](openenv) de BrowserGym, con variantes de LLM y VLM. | |
| [`grpo_carla`](https://github.com/huggingface/trl/tree/main/examples/grpo_carla) | GRPO con el entorno de conducción autónoma CARLA [OpenEnv](openenv), con variantes de LLM y VLM (respuestas de herramientas de imágenes de cámara multimodales). | |
| [`grpo_catch`](https://github.com/huggingface/trl/tree/main/examples/grpo_catch) | GRPO con el Catch (OpenSpiel) [OpenEnv](openenv) environment. | |
| [`grpo_continuous_batching`](https://github.com/huggingface/trl/tree/main/examples/grpo_continuous_batching) | GRPO con el motor de lotes continuos de transformers para una generación más rápida en lotes grandes con longitudes de finalización variables. | |
| [`grpo_echo`](https://github.com/huggingface/trl/tree/main/examples/grpo_echo) | Entrenamiento mínimo de GRPO con el entorno [OpenEnv](openenv) de Echo. | |
| [`grpo_harbor`](https://github.com/huggingface/trl/tree/main/examples/grpo_harbor) | Entrenamiento de GRPO contra un conjunto de tareas de Harbor con un agente base intercambiable (harnesses de `bash` / `jupyter` / `terminal_notes`). Consulte la guía de [Integración de Harbor](harbor). | |
| [`grpo_ministral3_vl`](https://github.com/huggingface/trl/tree/main/examples/grpo_ministral3_vl) | GRPO Ministral 3 con QLoRA en Colab gratuito. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_ministral3_vl/grpo_ministral3_vl.ipynb) |
| [`grpo_multi_env`](https://github.com/huggingface/trl/tree/main/examples/grpo_multi_env) | Entrenamiento GRPO multi-entorno: Wordle + Catch [OpenEnv](openenv) entornos en la misma ejecución de entrenamiento. | |
| [`grpo_qlora`](https://github.com/huggingface/trl/tree/main/examples/grpo_qlora) | GRPO usando QLoRA en Colab gratuito. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_qlora/grpo_qlora.ipynb) |
| [`grpo_qwen3_vl`](https://github.com/huggingface/trl/tree/main/examples/grpo_qwen3_vl) | GRPO Qwen3-VL con QLoRA en Colab gratuito. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_qwen3_vl/grpo_qwen3_vl.ipynb) |
| [`grpo_rnj_1_instruct`](https://github.com/huggingface/trl/tree/main/examples/grpo_rnj_1_instruct) | GRPO en rnj-1-instruct con QLoRA en Colab para añadir capacidades de razonamiento. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_rnj_1_instruct/grpo_rnj_1_instruct.ipynb) |
| [`grpo_seta`](https://github.com/huggingface/trl/tree/main/examples/grpo_seta) | Entrenamiento de GRPO contra el entorno SETA ORS en el catálogo de openreward.ai. Consulte la guía de [Integración de OpenReward](openreward). | |
| [`grpo_sql_agent`](https://github.com/huggingface/trl/tree/main/examples/grpo_sql_agent) | GRPO para entrenar un agente que responde preguntas consultando una base de datos SQL (script y notebook; no ejecutable en Colab gratuito debido a OOM). | |
| [`grpo_sudoku`](https://github.com/huggingface/trl/tree/main/examples/grpo_sudoku) | GRPO para jugar al Sudoku (TextArena) en un entorno [OpenEnv](openenv), partiendo de un modelo SFT: 0, 10 y 22 acertijos de 30 resueltos con 26 celdas vacías para los modelos base, SFT y SFT + GRPO (script, notebook y README con los resultados). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_sudoku/grpo_sudoku.ipynb) |
| [`grpo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/grpo_visual_math) | Ajuste fino con GRPO de un modelo multimodal para razonamiento utilizando el conjunto de datos [lmms-lab/multimodal-open-r1-8k-verified](https://huggingface.co/datasets/lmms-lab/multimodal-open-r1-8k-verified). | |
| [`grpo_wordle`](https://github.com/huggingface/trl/tree/main/examples/grpo_wordle) | GRPO para jugar a Wordle (TextArena) en un entorno [OpenEnv](openenv) (script y cuaderno). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_wordle/grpo_wordle.ipynb) |
| [`gspo_math`](https://github.com/huggingface/trl/tree/main/examples/gspo_math) | GSPO mediante el [GRPOTrainer](/docs/trl/v1.18.0/es/grpo_trainer#trl.GRPOTrainer) para razonamiento matemático en el conjunto de datos [AI-MO/NuminaMath-TIR](https://huggingface.co/datasets/AI-MO/NuminaMath-TIR). | |
| [`gspo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/gspo_visual_math) | GSPO a través del [GRPOTrainer](/docs/trl/v1.18.0/es/grpo_trainer#trl.GRPOTrainer) para ajustar un modelo multimodal para razonamiento utilizando el conjunto de datos [lmms-lab/multimodal-open-r1-8k-verified](https://huggingface.co/datasets/lmms-lab/multimodal-open-r1-8k-verified). | |
| [`lfm2_5_moe_research_agent`](https://github.com/huggingface/trl/tree/main/examples/lfm2_5_moe_research_agent) | LiquidAI/LFM2.5-8B-A1B en dos pasos: SFT completo en xLAM function calling en un nodo 8xH100 con [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer), fragmentado en el momento de la carga por `DistributedConfig` de transformers (paralelismo de expertos con despacho de tokens, más FSDP), y luego GRPO de un agente de investigación de varios turnos en HotpotQA con [GRPOTrainer](/docs/trl/v1.18.0/es/grpo_trainer#trl.GRPOTrainer) y `environment_factory` (herramientas `search` / `read`, recompensa de coincidencia exacta). | |
| [`mpo_visual_preferences`](https://github.com/huggingface/trl/tree/main/examples/mpo_visual_preferences) | MPO a través de [DPOTrainer](/docs/trl/v1.18.0/es/dpo_trainer#trl.DPOTrainer) para alinear un modelo multimodal basado en preferencias utilizando el conjunto de datos [HuggingFaceH4/rlaif-v_formatted](https://huggingface.co/datasets/HuggingFaceH4/rlaif-v_formatted) y un conjunto de pesos de pérdida. | |
| [`online_dpo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/online_dpo_visual_math) | Ajuste fino con DPO en línea de un modelo de visión y lenguaje con [experimental.online_dpo.OnlineDPOTrainer](/docs/trl/v1.18.0/es/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOTrainer). | |
| [`rloo_math`](https://github.com/huggingface/trl/tree/main/examples/rloo_math) | RLOO con [RLOOTrainer](/docs/trl/v1.18.0/es/rloo_trainer#trl.RLOOTrainer) para razonamiento matemático en el conjunto de datos [AI-MO/NuminaMath-TIR](https://huggingface.co/datasets/AI-MO/NuminaMath-TIR) con vLLM. | |
| [`rloo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/rloo_visual_math) | Ajuste fino con RLOO de un modelo multimodal para razonamiento utilizando el conjunto de datos [lmms-lab/multimodal-open-r1-8k-verified](https://huggingface.co/datasets/lmms-lab/multimodal-open-r1-8k-verified). | |
| [`sdft_privileged_context`](https://github.com/huggingface/trl/tree/main/examples/sdft_privileged_context) | Ajuste fino mediante auto-destilación con [experimental.sdft.SDFTTrainer](/docs/trl/v1.18.0/es/sdft_trainer#trl.experimental.sdft.SDFTTrainer), destilando el contexto privilegiado (solo del maestro) en el modelo. | |
| [`sdpo_math`](https://github.com/huggingface/trl/tree/main/examples/sdpo_math) | SDPO con [experimental.sdpo.SDPOTrainer](/docs/trl/v1.18.0/es/sdpo_trainer#trl.experimental.sdpo.SDPOTrainer) usando recompensas matemáticas verificables y retroalimentación opcional del entorno en [openai/gsm8k](https://huggingface.co/datasets/openai/gsm8k). | |
| [`sft_agent_traces`](https://github.com/huggingface/trl/tree/main/examples/sft_agent_traces) | SFT de Qwen3.5-2B en trazas de agentes: Qwen3.5-397B-A17B resuelve tareas de análisis de datos de [Harbor](harbor) como un agente OpenCode en Hugging Face Sandboxes, registrado por [OpenEnv](openenv), y el estudiante se entrena en las conversaciones resueltas con pérdida solo de asistente. En tareas cuyos datos no fueron tocados por ninguna traza, unas 500 trazas lo llevan del 7,6% al 33,3% (scripts de rollout, dataset y entrenamiento, y README con los resultados). | |
| [`sft_beam`](https://github.com/huggingface/trl/tree/main/examples/sft_beam) | SFT con LoRA de reflection/Beam-1.0-501B-A23B en un nodo de 8xB300 con [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer), fragmentado en el momento de la carga mediante `DistributedConfig` de transformers (paralelismo de expertos con despacho de tokens). | |
| [`sft_diffusion_gemma`](https://github.com/huggingface/trl/tree/main/examples/sft_diffusion_gemma) | SFT del modelo de lenguaje de difusión por bloques DiffusionGemma en GSM8K mediante la extensión de [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer) con un objetivo de difusión por bloques. | |
| [`sft_gemma3`](https://github.com/huggingface/trl/tree/main/examples/sft_gemma3) | SFT de Gemma 3 en el conjunto de datos Codeforces COTS. | |
| [`sft_gemma3_vision`](https://github.com/huggingface/trl/tree/main/examples/sft_gemma3_vision) | SFT de Gemma 3 en tareas de visión a texto. | |
| [`sft_gpt_oss_chess`](https://github.com/huggingface/trl/tree/main/examples/sft_gpt_oss_chess) | Ajuste fino completo de openai/gpt-oss-20b con acertijos de ajedrez mediante [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer): TRL carga sus expertos MXFP4 descuantizados, y los expertos ajustados se recuantizan a MXFP4 para servirlos como el original. | |
| [`sft_ministral3_vl`](https://github.com/huggingface/trl/tree/main/examples/sft_ministral3_vl) | SFT de Ministral 3 con QLoRA en Colab gratuito. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_ministral3_vl/sft_ministral3_vl.ipynb) |
| [`sft_mistral_large_4`](https://github.com/huggingface/trl/tree/main/examples/sft_mistral_large_4) | SFT con LoRA de mistralai/Mistral-Large-4-1T-A52B sobre sus pesos FP8 en un nodo de 8xB300 con [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer), fragmentado en el momento de la carga mediante `DistributedConfig` de transformers (paralelismo de expertos con despacho de tokens). | |
| [`sft_nemotron_3`](https://github.com/huggingface/trl/tree/main/examples/sft_nemotron_3) | SFT de los modelos NVIDIA Nemotron 3 (script y cuaderno de LoRA). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_nemotron_3/sft_nemotron_3.ipynb) |
| [`sft_qlora`](https://github.com/huggingface/trl/tree/main/examples/sft_qlora) | SFT con QLoRA en Colab gratuito. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_qlora/sft_qlora.ipynb) |
| [`sft_qwen3_8b_1m_context`](https://github.com/huggingface/trl/tree/main/examples/sft_qwen3_8b_1m_context) | SFT de Qwen3-8B en secuencias de 1.048.576 tokens con paralelismo de contexto, en un nodo 8xH100. | |
| [`sft_qwen3_vl`](https://github.com/huggingface/trl/tree/main/examples/sft_qwen3_vl) | SFT de Qwen3-VL con QLoRA en Colab gratuito. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_qwen3_vl/sft_qwen3_vl.ipynb) |
| [`tail_sft_gsm8k`](https://github.com/huggingface/trl/tree/main/examples/tail_sft_gsm8k) | TailSFT en GSM8K extendiendo [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer) con filtrado de pérdida de la política inicial. | |
| [`sft_muse_spark_open`](https://github.com/huggingface/trl/tree/main/examples/sft_muse_spark_open) | SFT con LoRA de meta-models/Muse-Spark-Open-816B-A42B en 8 nodos con [SFTTrainer](/docs/trl/v1.18.0/es/sft_trainer#trl.SFTTrainer), fragmentado en el momento de la carga por `DistributedConfig` de transformers (paralelismo de expertos con despacho de tokens). | |
| [`sft_tool_calling`](https://github.com/huggingface/trl/tree/main/examples/sft_tool_calling) | Enseñar la invocación de herramientas a un modelo sin soporte nativo de invocación de herramientas mediante SFT con QLoRA (script, plantilla de chat y cuaderno). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_tool_calling/sft_tool_calling.ipynb) |
| [`sft_visual_chat`](https://github.com/huggingface/trl/tree/main/examples/sft_visual_chat) | SFT de un modelo de visión y lenguaje en un entorno de chat. Solo probado con [LLaVA 1.5](https://huggingface.co/llava-hf/llava-1.5-7b-hf), [LLaVA 1.6](https://huggingface.co/llava-hf/llava-v1.6-mistral-7b-hf) y [Llama-3.2-11B-Vision-Instruct](https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct); los usuarios pueden observar un comportamiento inesperado en otras arquitecturas de modelos. | |
| [`xtoken`](https://github.com/huggingface/trl/tree/main/examples/xtoken) | X-Token: destilación de conocimiento entre tokenizadores off-policy con [experimental.gold.GOLDTrainer](/docs/trl/v1.18.0/es/gold_trainer#trl.experimental.gold.GOLDTrainer), incluida la preparación de la matriz de proyección. | |

## Entrenamiento distribuido

Puede ejecutar los scripts de ejemplo en varias GPU con torchrun:

```shell
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_script
```

Para DeepSpeed ZeRO-{1,2,3}:

```shell
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_script
```

Ajusta `NUM_GPUS` y `--all_arguments_of_the_script` según sea necesario.

