TRL documentation
Интеграция с Unsloth
Интеграция с Unsloth
Unsloth — это open-source-фреймворк для дообучения и обучения с подкреплением, который обучает LLM (такие как Llama, OpenAI gpt-oss, Mistral, Gemma, DeepSeek и другие) до 2× быстрее, сокращая потребление VRAM до 80%. С помощью Unsloth можно выполнять обучение, оценку, запуск и развёртывание с другими движками инференса, такими как llama.cpp, Ollama и vLLM.
Библиотека обеспечивает упрощённый, совместимый с Hugging Face рабочий процесс для обучения, оценки, инференса и развёртывания и полностью совместима с SFTTrainer.
Ключевые возможности
- Поддержка обучения для всех моделей, совместимых с трансформерами: синтез речи (TTS), мультимодальные модели, BERT, RL и другие
- Поддерживает полную дообучение, предобучение, LoRA, QLoRA, 8-битное обучение и многое другое
- Работает на Linux, Windows, Colab, Kaggle; с GPU NVIDIA, в ближайшее время — с конфигурациями AMD & Intel
- Поддерживает большинство функций, доступных в TRL, включая RLHF (GSPO, GRPO, DPO и т. д.)
- Ручные ядра Triton и собственный механизм обратного распространения обеспечивают отсутствие потери точности (ошибка аппроксимации 0%)
Установка
pip install
Локальная установка (рекомендуется Linux):
pip install unsloth
Вы также можете установить unsloth в соответствии с официальной документацией. После установки вы можете легко интегрировать unsloth в свой рабочий процесс: вместо загрузки AutoModelForCausalLM достаточно загрузить FastLanguageModel следующим образом:
import torch
from trl import SFTConfig, SFTTrainer
from unsloth import FastLanguageModel
max_length = 2048 # Supports automatic RoPE Scaling, so choose any number
# Load model
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/mistral-7b",
max_seq_length=max_length,
dtype="auto", # For auto-detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
load_in_4bit=True, # Use 4bit quantization to reduce memory usage. Can be False
)
# Do model patching and add fast LoRA weights
model = FastLanguageModel.get_peft_model(
model,
r=16,
target_modules=[
"q_proj",
"k_proj",
"v_proj",
"o_proj",
"gate_proj",
"up_proj",
"down_proj",
],
lora_alpha=16,
lora_dropout=0, # Dropout = 0 is currently optimized
bias="none", # Bias = "none" is currently optimized
use_gradient_checkpointing=True,
random_state=3407,
)
training_args = SFTConfig(output_dir="./output", max_length=max_length)
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=dataset,
)
trainer.train()Сохранённая модель полностью совместима с библиотекой transformers от Hugging Face. Подробнее об unsloth можно узнать в их официальном репозитории.
Установка Docker
docker run -d -e JUPYTER_PASSWORD="mypassword" \
-p 8888:8888 -p 2222:22 \
-v $(pwd)/work:/workspace/work \
--gpus all \
unsloth/unslothОткройте Jupyter Lab по адресу http://localhost:8888 и начните дообучение!
Обучение
Вот основные настройки, которые можно изменить перед обучением:
max_seq_length = 2048– управляет длиной контекста. Хотя Llama-3 поддерживает 8192, для тестирования мы рекомендуем 2048. Unsloth позволяет выполнять дообучение с контекстом в 4 раза длиннее.dtype = "auto"– для автоматического определения; для новых GPU используйте torch.float16 или torch.bfloat16.load_in_4bit = True– Включает 4-битовое квантование, что снижает потребление памяти в 4 раза при дообучении. Отключение этого параметра позволяет использовать дообучение LoRA в 16-битном режиме.- Чтобы включить полную дообучение (FFT), установите
full_finetuning = True. Для дообучения в 8-битном режиме установитеload_in_8bit = True. Примечание: одновременно можно установить значение True только для одного метода обучения.
Для получения дополнительной информации о настройке гиперпараметров и функций Unsloth прочитайте их руководство по документации здесь.
Сохранение модели
Unsloth позволяет сохранять дообученную модель напрямую в виде небольшого файла — адаптера LoRA. При желании вы также можете загрузить модель на Hugging Face hub. Не забудьте получить токен Hugging Face и добавить свой токен!
Сохранение в GGUF
Для сохранения в формате GGUF Unsloth использует llama.cpp. Для локального сохранения:
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")Чтобы отправить на хаб:
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")Сохранение в vLLM
Чтобы сохранить в 16-битном формате для vLLM, используйте:
model.save_pretrained_merged("model", tokenizer, save_method = "merged_16bit",)
model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")