论文解读
个人总结正交类LoRA发展
顺着多篇近期工作,理解正交 LoRA 持续学习从子空间隔离、参数不碰撞、梯度投影、合并式更新到双线性失稳的关键假设。
含有该标签的相关文章共 6 篇,聚合了关联的深度技术探讨与经验积累。
顺着多篇近期工作,理解正交 LoRA 持续学习从子空间隔离、参数不碰撞、梯度投影、合并式更新到双线性失稳的关键假设。
梳理持续学习的定义、任务形态、遗忘与迁移指标,以及 replay、正则化、梯度投影、参数隔离和 PEFT 的方法脉络;对照 O-LoRA 等原论文厘清语言模型常用的短序列、长序列与生成任务协议。
从一个真实小模型项目出发,看看工程里的Tokenizer到底长什么样
BPE几个level的区别,以及现在LLM在使用的tokenizer
汇总大模型大部分组件、概念
汇总大模型大部分组件、概念