# Eğitimi Hızlandırma

Bu kılavuz, TRL'de eğitimi hızlandırmak için kullanılan çeşitli yöntemleri kapsar. Her teknik, daha kapsamlı belgelere bağlantılar içeren minimal örneklerle sunulur.

## Çevrimiçi yöntemlerde hızlı üretim için vLLM

GRPO veya Online DPO gibi [çevrimiçi yöntemler](index#online-methods), modelin tamamlamalar üretmesini gerektirir; bu genellikle yavaş bir süreçtir ve eğitim süresini önemli ölçüde etkileyebilir. Üretimi hızlandırmak için, PagedAttention gibi özellikler sayesinde hızlı üretim imkânı sunan [vLLM](https://github.com/vllm-project/vllm) kütüphanesini kullanabilirsiniz. TRL'nin çevrimiçi eğitimcileri vLLM'i destekler ve eğitim hızını büyük ölçüde artırır. Daha fazla ayrıntı için [vLLM Entegrasyonu](vllm_integration) bölümüne bakın.

[vLLM](https://github.com/vllm-project/vllm)'yi kullanmak için önce aşağıdaki komutla yükleyin:

```bash
pip install trl[vllm]
```

Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:

```bash
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1
```

Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında `use_vllm=True` değerini geçirin.

```python
from trl.experimental.online_dpo import OnlineDPOConfig

training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")
```

Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:

```bash
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1
```

Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında `use_vllm=True` değerini geçirin.

```python
from trl import GRPOConfig

training_args = GRPOConfig(..., use_vllm=True, vllm_mode="server")
```

Sunucu yapılandırmasını ek argümanlar geçirerek özelleştirebilirsiniz. Daha fazla bilgi için [vLLM entegrasyonu](vllm_integration) bölümüne bakın.

> [!WARNING]
> vLLM kullanırken, kaynak çakışmalarını önlemek için eğitim ve üretim için ayrılmış GPU'ların farklı olduğundan emin olun. Örneğin, eğitim için 4 GPU ve vLLM üretimi için başka 4 GPU kullanmayı planlıyorsanız, GPU tahsisini `CUDA_VISIBLE_DEVICES` kullanarak belirleyebilirsiniz.
>
> vLLM üretimi için GPU'ları **0-3** olarak ayarlayın:
>
> ```sh
> CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
>     --weight-transfer-config '{"backend": "nccl"}' \
>     --logprobs-mode processed_logprobs \
>     --max-logprobs -1
> ```  
>
> Ve eğitim için GPU'lar **4-7**:
>
> ```sh
> CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
> ```

Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:

```bash
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1
```

Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında `use_vllm=True` değerini geçirin.

```python
from trl import RLOOConfig

training_args = RLOOConfig(..., use_vllm=True, vllm_mode="server")
```

Sunucu yapılandırmasını ek argümanlar geçirerek özelleştirebilirsiniz. Daha fazla bilgi için [vLLM entegrasyonu](vllm_integration) bölümüne bakın.

> [!WARNING]
> vLLM kullanırken, kaynak çakışmalarını önlemek için eğitim ve üretim için ayrılmış GPU'ların farklı olduğundan emin olun. Örneğin, eğitim için 4 GPU ve vLLM üretimi için başka 4 GPU kullanmayı planlıyorsanız, GPU tahsisini `CUDA_VISIBLE_DEVICES` kullanarak belirleyebilirsiniz.
>
> vLLM üretimi için GPU'ları **0-3** olarak ayarlayın:
>
> ```sh
> CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
>     --weight-transfer-config '{"backend": "nccl"}' \
>     --logprobs-mode processed_logprobs \
>     --max-logprobs -1
> ```  
>
> Ve eğitim için GPU'lar **4-7**:
>
> ```sh
> CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
> ```

## Optimize edilmiş dikkat uygulamaları

TRL, bellek kullanımını azaltırken eğitimi önemli ölçüde hızlandırabilen çeşitli optimize edilmiş dikkat (attention) uygulamalarını destekler. Doğrudan [Kernels Hub](kernels_hub) üzerinden önceden optimize edilmiş çekirdekleri (kernels) veya manuel olarak oluşturulmuş bir dikkat (attention) arka ucunu (backend) kullanabilirsiniz.

Hub'daki önceden optimize edilmiş dikkat çekirdeklerini manuel derleme olmadan kullanabilirsiniz:

```python
from trl import SFTConfig

training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})
```

Diğer seçenekler arasında `kernels-community/vllm-flash-attn3` ve `kernels-community/paged-attention` yer alır.

Optimized attention, TRL eğitimcilerinin tümünde çalışır. Daha fazla ayrıntı için [Kernels Hub Entegrasyonu](kernels_hub) bölümüne bakın.

> [!WARNING]
> Optimize edilmiş dikkat (attention) arka uçlarını manuel olarak oluşturmak karmaşık ve zaman alıcıdır. Mutlaka gerekli olmadıkça önerilmez. Bunun yerine, önceki bölümde anlatıldığı gibi Hub'dan Kernels kullanmayı düşünün.

Flash Attention 2 gibi optimize edilmiş bir dikkat (attention) arka ucunu manuel olarak yüklediyseniz, bunu eğitim argümanlarında belirtebilirsiniz:

```python
from trl import SFTConfig

training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "flash_attention_2"})
```

## Karışık hassasiyetli eğitim

bf16 veya fp16 kullanılarak karma hassasiyetli eğitim, model kalitesine minimal etki yaparak eğitimi hızlandırabilir ve bellek kullanımını azaltabilir.

```python
from trl import SFTConfig

training_args = SFTConfig(..., bf16=True)  # or fp16=True for older GPUs
```

Ampere GPU'lar (A100, RTX 30xx) veya daha yeni GPU'lar için `bf16=True`, daha eski GPU'lar için ise `fp16=True` kullanın. Karmaşıklık hassasiyetli eğitim, tüm TRL eğitimcilerinde desteklenmektedir.

