个人总结正交类LoRA发展
顺着多篇近期工作，理解正交 LoRA 持续学习从子空间隔离、参数不碰撞、梯度投影、合并式更新到双线性失稳的关键假设。
本站关注
- 学习指南
- 论文解读
- 项目总结
最近更新于 2026年7月30日
文章 8
专题 3
标签 11
年份 2026 - 2026
专题导览
把常写的方向提前摆出来，读者一进站就知道这里主要在研究什么。
最近更新
首页保持内容优先，用一篇主文和一组摘要列表来承接读者视线。
11日 7月
语言模型如何持续学习：从灾难性遗忘到重放、正交子空间与 LoRA
从持续学习的基本公式出发，读懂 LAMOL、LFPT5、Progressive Prompts 和 O-LoRA 的核心思路与限制。
11日 7月
正交 LoRA 真能防止遗忘吗：从子空间复用到双线性优化失稳
顺着多篇近期工作，理解正交 LoRA 持续学习从子空间隔离、参数不碰撞、梯度投影、合并式更新到双线性失稳的关键假设。
10日 7月
Tokenizer(二)，更现代的Tokenizer
BPE几个level的区别，以及现在LLM在使用的tokenizer
10日 7月
Tokenizer(三)，赏析MiniMind的Tokenizer
从一个真实小模型项目出发，看看工程里的Tokenizer到底长什么样
11日 6月
学习大模型前你需要了解的组件
汇总大模型大部分组件、概念
写作说明
这里优先发布可复用的学习笔记、工程复盘和技术拆解，尽量让每篇文章都能成为后续工作的索引节点。