大模型微调--Dora微调

https://arxiv.org/pdf/2402.09353
DoRA: Weight-Decomposed Low-Rank Adaptation

DoRA: Weight-Decomposed Low-Rank Adaptation

DoRA（Weight-Decomposed Low-Rank Adaptation）是一种用于大模型微调的高效参数优化方法，通过分解权重矩阵并结合低秩适配技术，显著减少训练参数量，同时保持模型性能。

核心思想

DoRA将预训练权重矩阵分解为幅度（magnitude）和方向（direction）两部分，并对方向部分应用低秩适配（LoRA）。这种分解方式能够更精细地控制权重更新，避免直接微调全参数带来的计算开销。

数学表达形式为：
W=m⋅V∣∣V∣∣F W = m \cdot \frac{V}{||V||_F}W=m⋅∣∣V∣∣F​V​
其中：

• WWW是原始权重矩阵
• mmm是幅度标量
• VVV是方向矩阵
• ∣∣V∣∣F||V||_F∣∣V∣∣F​表示Frobenius范数(矩阵元素的平方和的平方根)

实现方法

权重分解
将原始权重WWW分解为幅度mmm和归一化方向V∣∣V∣∣F\frac{V}{||V||_F}∣∣V∣∣F​V​。幅度表示权重的重要性，方向决定特征变换的性质。

低秩适配
对方向矩阵VVV应用LoRA技术，使用低秩矩阵AAA和BBB进行更新：
V=V0+BA V = V_0 + BAV=V0​+BA
其中V0V_0V0​是冻结的初始方向，A∈Rr×kA \in \mathbb{R}^{r×k}A∈Rr×k,B∈Rd×rB \in \mathbb{R}^{d×r}B∈Rd×r是可训练的低秩矩阵（r≪d,kr \ll d,kr≪d,k）。

训练过程
仅训练幅度参数 $ m $ 和低秩矩阵 $ A,B $，冻结原始权重 $ W $。更新公式为：
W′=m′⋅V0+BA∣∣V0+BA∣∣F W' = m' \cdot \frac{V_0 + BA}{||V_0 + BA||_F}W′=m′⋅∣∣V0​+BA∣∣F​V0​+BA​

优势特点

• 参数效率：相比全参数微调，可减少90%以上的训练参数量。
• 性能保留：在多项NLP任务中达到或超过全微调（full fine-tuning）的效果。
• 训练稳定：幅度与方向解耦使优化过程更平滑，避免梯度爆炸/消失。
• 模块化设计：可灵活应用于Transformer的各类权重矩阵（Q/K/V/FFN）。

注意事项

• 秩（rank）的选择需要平衡参数效率和性能，通常4-32之间效果较好。
• 初始化策略影响收敛速度，建议对 ( A ) 使用Kaiming初始化，( B ) 初始化为零。
• 可与其它高效微调方法（Adapter、Prefix-tuning）结合使用。

https://github.com/NVlabs/DoRA/blob/main/commonsense_reasoning/peft/src/peft/tuners/dora.py

self.weight_m_wdecomp=nn.Linear(1,out_features,bias=False)# self.weight_m_wdecomp.weight # shape: out_features, 1self.fan_in_fan_out=fan_in_fan_out self.Wdecompose=Wdecompose# whether to tune only the magnitude component of Wdecompose or notself.dora_simple=dora_simple# whether to use dora simple to save up GPU memoryifself.Wdecompose==False:ifr>0:self.lora_A=nn.Linear(in_features,r,bias=False)self.lora_B=nn.Linear(r,out_features,bias=False)self.scaling=self.lora_alpha/self.r# Freezing the pre-trained weight matrixself.weight.requires_grad=Falseself.reset_parameters()iffan_in_fan_out:self.weight.data=self.weight.data.Tdefreset_parameters(self):nn.Linear.reset_parameters(self)ifhasattr(self,"lora_A"):# initialize A the same way as the default for nn.Linear and B to zeronn.init.kaiming_uniform_(self.lora_A.weight,a=math.sqrt(5))nn.init.zeros_(self.lora_B.weight)deftrain(self,mode:bool=True):nn.Linear.train(self,mode)ifself.Wdecompose==False:self.lora_A.train(mode)self.lora_B.train(mode)self.weight_m_wdecomp.train(mode)ifnotmodeandself.merge_weightsandnotself.merged:# Merge the weights and mark itifself.Wdecompose:norm_scale=(self.weight_m_wdecomp.weight/(torch.linalg.norm(self.weight,dim=1)).unsqueeze(1))weight=norm_scale*self.weight self.weight.data.copy_(weight.detach())else:ifself.r>0:new_weight_v=self.weight+transpose(self.lora_B.weight @ self.lora_A.weight,fan_in_fan_out=self.fan_in_fan_out)*self.scaling weight=(self.weight_m_wdecomp.weight/(torch.linalg.norm(new_weight_v,dim=1)).unsqueeze(1))*new_weight_v self.weight.data.copy_(weight.detach())self.merged=Trueelifself.merge_weightsandself.merged:raiseNotImplementedError

adapters中的配置

config=DoRAConfig()model.add_adapter("dora_adapter",config=config)