TRL documentation

Интеграция с Unsloth

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Интеграция с Unsloth

Unsloth — это open-source-фреймворк для дообучения и обучения с подкреплением, который обучает LLM (такие как Llama, OpenAI gpt-oss, Mistral, Gemma, DeepSeek и другие) до 2× быстрее, сокращая потребление VRAM до 80%. С помощью Unsloth можно выполнять обучение, оценку, запуск и развёртывание с другими движками инференса, такими как llama.cpp, Ollama и vLLM.

Библиотека обеспечивает упрощённый, совместимый с Hugging Face рабочий процесс для обучения, оценки, инференса и развёртывания и полностью совместима с SFTTrainer.

Ключевые возможности

  • Поддержка обучения для всех моделей, совместимых с трансформерами: синтез речи (TTS), мультимодальные модели, BERT, RL и другие
  • Поддерживает полную дообучение, предобучение, LoRA, QLoRA, 8-битное обучение и многое другое
  • Работает на Linux, Windows, Colab, Kaggle; с GPU NVIDIA, в ближайшее время — с конфигурациями AMD & Intel
  • Поддерживает большинство функций, доступных в TRL, включая RLHF (GSPO, GRPO, DPO и т. д.)
  • Ручные ядра Triton и собственный механизм обратного распространения обеспечивают отсутствие потери точности (ошибка аппроксимации 0%)

Установка

pip install

Локальная установка (рекомендуется Linux):

pip install unsloth

Вы также можете установить unsloth в соответствии с официальной документацией. После установки вы можете легко интегрировать unsloth в свой рабочий процесс: вместо загрузки AutoModelForCausalLM достаточно загрузить FastLanguageModel следующим образом:

import torch
from trl import SFTConfig, SFTTrainer
from unsloth import FastLanguageModel

max_length = 2048 # Supports automatic RoPE Scaling, so choose any number

# Load model
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/mistral-7b",
    max_seq_length=max_length,
    dtype="auto",  # For auto-detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
    load_in_4bit=True,  # Use 4bit quantization to reduce memory usage. Can be False
)

# Do model patching and add fast LoRA weights
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=[
        "q_proj",
        "k_proj",
        "v_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj",
    ],
    lora_alpha=16,
    lora_dropout=0,  # Dropout = 0 is currently optimized
    bias="none",  # Bias = "none" is currently optimized
    use_gradient_checkpointing=True,
    random_state=3407,
)

training_args = SFTConfig(output_dir="./output", max_length=max_length)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

Сохранённая модель полностью совместима с библиотекой transformers от Hugging Face. Подробнее об unsloth можно узнать в их официальном репозитории.

Установка Docker

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Откройте Jupyter Lab по адресу http://localhost:8888 и начните дообучение!

Обучение

Вот основные настройки, которые можно изменить перед обучением:

  • max_seq_length = 2048 – управляет длиной контекста. Хотя Llama-3 поддерживает 8192, для тестирования мы рекомендуем 2048. Unsloth позволяет выполнять дообучение с контекстом в 4 раза длиннее.
  • dtype = "auto" – для автоматического определения; для новых GPU используйте torch.float16 или torch.bfloat16.
  • load_in_4bit = True – Включает 4-битовое квантование, что снижает потребление памяти в 4 раза при дообучении. Отключение этого параметра позволяет использовать дообучение LoRA в 16-битном режиме.
  • Чтобы включить полную дообучение (FFT), установите full_finetuning = True. Для дообучения в 8-битном режиме установите load_in_8bit = True. Примечание: одновременно можно установить значение True только для одного метода обучения.

Для получения дополнительной информации о настройке гиперпараметров и функций Unsloth прочитайте их руководство по документации здесь.

Сохранение модели

Unsloth позволяет сохранять дообученную модель напрямую в виде небольшого файла — адаптера LoRA. При желании вы также можете загрузить модель на Hugging Face hub. Не забудьте получить токен Hugging Face и добавить свой токен!

Сохранение в GGUF

Для сохранения в формате GGUF Unsloth использует llama.cpp. Для локального сохранения:

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

Чтобы отправить на хаб:

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

Сохранение в vLLM

Чтобы сохранить в 16-битном формате для vLLM, используйте:

model.save_pretrained_merged("model", tokenizer, save_method = "merged_16bit",)
model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")
Update on GitHub