论文解读
个人总结正交类LoRA发展
顺着多篇近期工作,理解正交 LoRA 持续学习从子空间隔离、参数不碰撞、梯度投影、合并式更新到双线性失稳的关键假设。
含有该标签的相关文章共 2 篇,聚合了关联的深度技术探讨与经验积累。
顺着多篇近期工作,理解正交 LoRA 持续学习从子空间隔离、参数不碰撞、梯度投影、合并式更新到双线性失稳的关键假设。
梳理持续学习的定义、任务形态、遗忘与迁移指标,以及 replay、正则化、梯度投影、参数隔离和 PEFT 的方法脉络;对照 O-LoRA 等原论文厘清语言模型常用的短序列、长序列与生成任务协议。