PEFT documentation
PEFT
快速入门
指南
方法
API 参考
PEFT
🤗 PEFT(Parameter-Efficient Fine-Tuning,参数高效微调)是一个用于高效适配大型预训练模型的库,使其能够应用于各种下游任务,而无需微调模型的所有参数,因为全参数微调的成本高得令人望而却步。PEFT 方法仅微调少量(额外的)模型参数——从而大幅降低计算和存储成本——同时实现与全参数微调模型相当的性能。这使得在消费级硬件上训练和存储大型语言模型(LLMs)及其他大型模型变得更加可行。
PEFT 与 Transformers、Diffusers 和 Accelerate 库集成,提供了一种更快速、更便捷的方式来加载、训练大型模型并用于推理。
有许多方法可以“适配”现有模型,这些方法通常会对模型进行深度集成。PEFT 可以被视为一个用于任意模型适配方法(修改权重、包装层、操作 KV 缓存等)的框架,同时它也是许多微调方法的参考实现。
