TRL - Transformers Reinforcement Learning

TRL là một thư viện full stack, cung cấp một bộ công cụ để huấn luyện các mô hình ngôn ngữ transformer bằng các phương pháp như Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling và nhiều hơn nữa. Thư viện này được tích hợp với 🤗 transformers.

🎉 Điểm mới

⚡ AsyncGRPOTrainer đã ổn định: AsyncGRPOTrainer chính thức trở thành API ổn định. Nó chạy GRPO nhanh hơn nhiều bằng cách tách rời quá trình sinh ra khỏi quá trình huấn luyện: một máy chủ vLLM sẽ phát trực tiếp các rollout trong khi trainer cập nhật mô hình.

Phân loại

Dưới đây là tổng quan về các trình huấn luyện TRL, được sắp xếp theo mức độ hoàn thiện và loại phương pháp.

Phương pháp trực tuyến

Mô hình hóa phần thưởng

RewardTrainer

Các phương pháp ngoại tuyến

Chưng cất tri thức

DistillationTrainer

Thử nghiệm

Phương pháp trực tuyến

Các phương pháp ngoại tuyến

Chưng cất tri thức

Bạn cũng có thể khám phá các mô hình, bộ dữ liệu và demo liên quan đến TRL trong tổ chức TRL trên Hugging Face.

Học

Học hậu huấn luyện với TRL và các thư viện khác trong 🤗 smol course.

Nội dung

Tài liệu được tổ chức thành các phần sau:

Bắt đầu: hướng dẫn cài đặt và khởi động nhanh.
Hướng dẫn khái niệm: định dạng tập dữ liệu, câu hỏi thường gặp về huấn luyện và cách hiểu nhật ký.
Hướng dẫn: giảm mức sử dụng bộ nhớ, tăng tốc huấn luyện, phân phối huấn luyện, v.v.
Tích hợp: DeepSpeed, PEFT, v.v.
Ví dụ: tổng quan về ví dụ, hướng dẫn của cộng đồng, v.v.
API: trainers, utils, v.v.