明明召回了对的文档,模型答案却仍然跑偏。问题常出在「召回了但没排好序」。本文讲清重排模型在 RAG 链路中的位置、主流选型与落地调参。

做 RAG(检索增强生成)的人常遇到一个令人困惑的现象:明明从知识库里召回了对的文档,模型给出的答案却仍然跑偏。问题往往不在召回,而在于「召回了但没排好序」——这时候,重排(Rerank)该上场了。
为什么召回对了,答案还是错
向量检索追求的是快和广,它把文档压缩成向量后做近似相似度匹配,速度快但精度有限,常把一堆看起来相关的片段一起返回。而大模型的上下文窗口有限,你不可能把几十条召回结果全塞进去;塞进去的如果顺序不对、噪声太多,模型就容易被带偏。重排的目标,就是把真正相关的少数几条顶到最前面。
Rerank 在链路里的位置
典型链路是:先用向量或关键词检索召回一个较大的候选集(比如 top 50),再用重排模型对「问题—文档」对逐一精算相关性得分,取前 top 5 喂给大模型。重排模型通常是 cross-encoder 结构,它把问题和文档拼在一起联合编码,比向量匹配更能捕捉细粒度语义,代价是更慢更贵——所以它只处理召回后的小集合,而不是全库。
常见重排模型怎么选
- Cohere Rerank:托管 API,接入简单、效果好,按量付费;
- bge-reranker 系列:开源,可本地或私有化部署,中文场景表现不错;
- Jina Rerank:提供 API 与开源版本,支持多语言。
选型看三点:数据能否出境(决定用托管还是本地)、延迟预算,以及在你自己业务数据上的实测效果。
落地建议
先用现有召回结果做一版基线,再叠加重排,用同一批问题对比答案准确率,而不是凭感觉。参数上,召回 top-k 与重排后 top-n 要一起调:k 太小会漏掉好文档,n 太大又会把噪声带回上下文。如果你现在的 RAG「检索看起来对、答案却不佳」,优先试一层重排,往往是性价比最高的改进点。
本文同步自 ev7.cn · AI 博客,原文地址:https://www.ev7.cn/144.html
皮皮 AI 导航
AI 工具榜