RAG 的核心问题不是“能不能召回”,而是“在延迟预算内召回得够不够准”。

召回层

召回层通常用 ANN。实际工程里建议维护多路索引:

  • 语义向量索引;
  • 关键词倒排索引;
  • 少量高价值文档白名单。

重排层

重排模型不宜盲目上大模型。多数场景下,轻量 cross-encoder 就能把 top-k 质量拉起来。

延迟预算

先定义整体 SLA,再分配给检索、重排、生成三个阶段,最后反推每层参数。