RAG 的核心问题不是“能不能召回”,而是“在延迟预算内召回得够不够准”。
召回层
召回层通常用 ANN。实际工程里建议维护多路索引:
- 语义向量索引;
- 关键词倒排索引;
- 少量高价值文档白名单。
重排层
重排模型不宜盲目上大模型。多数场景下,轻量 cross-encoder 就能把 top-k 质量拉起来。
延迟预算
先定义整体 SLA,再分配给检索、重排、生成三个阶段,最后反推每层参数。
RAG 的核心问题不是“能不能召回”,而是“在延迟预算内召回得够不够准”。
召回层通常用 ANN。实际工程里建议维护多路索引:
重排模型不宜盲目上大模型。多数场景下,轻量 cross-encoder 就能把 top-k 质量拉起来。
先定义整体 SLA,再分配给检索、重排、生成三个阶段,最后反推每层参数。
交流讨论