大模型微调2025：LoRA之后的新方法

DoRA、PiSSA等新微调方法在效率和效果上超越LoRA。

微调方法演进

• **Full Fine-tuning**：效果最好但成本最高
• **LoRA**：低秩适配，参数效率高
• **DoRA**：权重分解低秩适配
• **PiSSA**：主奇异值和奇异向量适配
• **QLoRA**：量化+LoRA，内存友好

方法对比

在相同计算预算下，DoRA和PiSSA通常比LoRA效果更好，尤其在数学推理任务上。

实践建议

• 数据量小：用DoRA或PiSSA
• 内存受限：用QLoRA
• 追求极致效果：Full Fine-tuning

本文作者：Jie Zhu | 发布于 2025-09-28