PEFT documentation
Super-Tuning
Super-Tuning
Super-Tuning é um método de fine-tuning esparsa que congela os pesos base e treina apenas um suporte esparsa de entradas escalares selecionadas pela magnitude dos pesos. Definir r aloca adicionalmente um adaptador de baixo rank no estilo LoRA, composto aditivamente sobre o suporte esparsa (o híbrido “Supra” do paper).
A pontuação padrão é baseada apenas na magnitude e não requer dados. A ablação de 8B do artigo relata que magnitude-topk atinge uma média de 79,02%, superando a saliência ponderada por Wanda, que atinge 78,66%, sem exigir uma etapa de calibração. A pontuação ponderada por ativação no estilo Wanda não é oferecida por esta implementação.
O Super-Tuning possui atualmente a seguinte restrição:
- Apenas camadas
nn.Linearsão suportadas.
O resumo do artigo é:
O ajuste fino de grandes modelos de linguagem com métodos eficientes em parâmetros tornou-se uma prática padrão, mas as abordagens existentes, como LoRA, restringem o subespaço treinável a uma decomposição de baixo posto. Apresentamos o Super-Tuning, uma abordagem de ajuste fino esparsa que, em vez disso, seleciona um pequeno suporte de entradas escalares individuais de pesos — um conjunto treinável de posto irrestrito em um orçamento de parâmetros fixo. A seleção é guiada por sinais de saliência inspirados em poda: pontuação baseada apenas em magnitude (estilo PaFi) ou pontuação ponderada por ativação (estilo Wanda). Mostramos que, em ajustes finos de Llama-3.2-1B e Meta-Llama-3-8B avaliados no Math17K, o Super-Tuning baseado em magnitude iguala ou supera o LoRA em orçamentos de parâmetros comparáveis, e que uma variante híbrida “Supra” — combinando suporte esparsos com um componente de baixo posto — melhora ainda mais a precisão em tarefas de baixo nível.
Visão geral do benchmark
Uso
Pure Super (pontuação de magnitude, sem dados):
from peft import SupertuningConfig, get_peft_model
config = SupertuningConfig(target_modules=["q_proj", "v_proj"], sparsity=0.99)
model = get_peft_model(base_model, config)Supra híbrido (suporte a esparsidade + LoRA composto aditivamente):
config = SupertuningConfig(
target_modules=["q_proj", "v_proj"], sparsity=0.99,
r=8, lora_alpha=16, # lora_alpha defaults to 2 * r when omitted
)
model = get_peft_model(base_model, config)SupertuningConfig
classe peft.SupertuningConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Nonesparsity: float = 0.99select_top: bool = Truer: Optional[int] = Nonelora_alpha: Optional[float] = Nonelora_dropout: float = 0.0init_weights: bool = Truesave_precomputed_indices: bool = True )
Parâmetros
- target_modules (
Optional[Union[List[str], str]]) — Os nomes dos módulos aos quais o adaptador será aplicado. String → correspondência por regex; lista → correspondência por sufixo / exata; None → padrão da arquitetura do modelo. - modules_to_save (
Optional[List[str]]) — Módulos fora das camadas de Supertuning que também devem ser treináveis e salvos no checkpoint final (por exemplo, cabeças de classificador inicializadas aleatoriamente). - sparsity (
float) — Razão de esparsidade alvo em[0.0, 1.0).0.99= 1% das entradas de pesos são treináveis. Padrão é0.99. - select_top (
bool) — Qual extremidade da pontuação de magnitude manter como suporte treinável.Truemantém as entradas de maior magnitude (Super / Supra do artigo);Falsemantém as de menor magnitude (variantes-bottomdo artigo). O artigo relata que a melhor direção depende do modelo e da tarefa. O padrão éTrue. - r (
Optional[int]) — Rank do LoRA para o híbrido “Supra”. QuandoNone(padrão), apenas o suporte esparsa é treinável (modo Super). Quando definido como um inteiro positivo, aloca adicionalmente os parâmetros do LoRAA([r, in_features]) eB([out_features, r]), cuja contribuição é somada ao suporte esparsa na passagem direta. - lora_alpha (
Optional[float]) — Fator de escala do LoRA para o modo Supra. SeNoneerestiver definido, o valor padrão é2 * r. Ignorado quandor is None. - lora_dropout (
float) — Probabilidade de dropout do LoRA para o modo Supra. O valor padrão é0.0. Ignorado quandor is None. - init_weights (
bool) — QuandoTrue(padrão), osvaluesesparsos são inicializados com zero e oBdo LoRA é inicializado com zero — o adaptador é uma atualização de identidade na construção. QuandoFalse, ambos usam Kaiming-uniform (usado pelos testes para exercitar um adaptador não trivial). OAdo LoRA usa Kaiming-uniform nos dois casos. - save_precomputed_indices (
bool) — Se os índices de suporte esparsos devem ser salvos no state dict. O padrão éTrue. Defina comoFalsepara reduzir o tamanho do checkpoint — os índices serão reconstruídos deterministicamente a partir das magnitudes dos pesos base no momento do carregamento. A reconstrução pressupõe que os pesos do modelo base sejam idênticos aos usados no momento do treinamento; pequenas variações numéricas podem causar diferenças nos desempates do topk.
Classe de configuração para SupertuningModel.
Super-Tuning (arXiv:2607.09287) congela os pesos da base e treina apenas um suporte esparsos de entradas escalares, selecionadas pela magnitude dos pesos. Definir r aloca adicionalmente um adaptador de baixo rank no estilo LoRA sobre o suporte esparsos (o híbrido “Supra” do paper).
O padrão (pontuação por magnitude, r=None) reproduz a configuração de mecanismo único com melhor desempenho relatado no artigo: no
Meta-Llama-3-8B, magnitude-topk com média de 79,02% supera Wanda com 78,66% E não requer uma etapa de calibração.
A pontuação ponderada por ativação no estilo Wanda não é oferecida por esta implementação.
Artigo: https://arxiv.org/abs/2607.09287
SupertuningModel
classe peft.SupertuningModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Parâmetros
- model (PreTrainedModel) — O modelo base a ser adaptado.
- config (SupertuningConfig) — A configuração de Supertuning.
- adapter_name (
str) — O nome do adaptador. O padrão é"default". - low_cpu_mem_usage (
bool, opcional) — Cria pesos de adaptador vazios no dispositivo meta para acelerar o carregamento.
Retorna
torch.nn.Module
O modelo envolvido pelo Supertuning.
Super-Tuning tuner (arXiv:2607.09287).
Congela os pesos da base e treina apenas um suporte esparsos de entradas escalares selecionadas pela magnitude dos pesos (configuração de melhor mecanismo único do artigo; sem dados). Quando config.r está definido, aloca adicionalmente os parâmetros A/B do LoRA, compostos aditivamente com o suporte esparsos — o híbrido Supra do artigo.
Exemplo (Super puro):
>>> from transformers import AutoModelForCausalLM
>>> from peft import SupertuningConfig, get_peft_model
>>> base = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")
>>> config = SupertuningConfig(target_modules=["q_proj", "v_proj"], sparsity=0.99)
>>> model = get_peft_model(base, config)Exemplo (Supra híbrido):
>>> config = SupertuningConfig(
... target_modules=["q_proj", "v_proj"],
... sparsity=0.99,
... r=8,
... lora_alpha=16,
... )
>>> model = get_peft_model(base, config)Artigo: https://arxiv.org/abs/2607.09287