最近一轮训练里，最影响稳定性的不是模型结构，而是数据细节。

数据去重策略

先做 URL 级去重，再做段落级 MinHash，可以明显降低过拟合速度。

Loss 波动排查

如果在固定 step 出现异常抖动，优先检查：

  1. batch 内长度分布是否突然偏移；
  2. learning rate warmup 是否过短；
  3. 数据管线是否混入异常编码文本。

小结

模型训练是系统工程，先把脏数据和采样逻辑修正，收益常常比“换一个新结构”更明显。