上下文窗口越来越大,RAG 是否还有必要?从合规、鲜度、审计三个角度看,检索的位置反而更重要了。

"模型都支持百万上下文了,还要 RAG 干嘛?"这是最近很常见的疑问。答案没那么简单——把整个语料塞进上下文,在真实业务里会撞上几堵墙。
三堵绕不开的墙
- 合规:把整个语料放进每次会话,意味着每次都碰一遍全部内容。只要两个客户共用一个索引,这就是合规事故。
- 鲜度:向量索引里更新一篇文档,下一条查询就能看到;而缓存的长上下文 Prompt 更新一篇文档,你得重新编码整个东西。
- 出处与审计:检索步骤天然给你一份"模型回答前看见了什么"的清单;一百万 Token 的 Prompt 则是一坨无从分辨的东西,除非你另建追踪。
2026 年的默认架构:混合
更务实的做法是:先检索出 5 万到 20 万 Token 的候选集,再交给长上下文模型综合。检索负责"注意力的导演",长上下文负责"综合层"。在这个结构里,检索质量的重要性不是下降而是上升了——瓶颈从"装得下吗"变成"我们有没有把对的那 50 份文档捞出来"。
顺序比架构更能决定成败
如果你现在的 RAG 效果不好,按这个顺序做,前四步解决的问题比加循环多得多:结构感知切分 → 混合检索(稠密 + BM25 + RRF)→ 元数据过滤 → 先建评测集再调 Prompt。这四步做完,再评估要不要引入多轮检索。
说到底,长上下文扩大的是"综合能力的上限",而检索决定的是"输入质量的下限"。下限没做好,上限再高也用不上。
本文同步自 ev7.cn · AI 博客,原文地址:https://www.ev7.cn/82.html
皮皮 AI 导航
AI 工具榜