本章进度 16 / 19
84%
正文已完成
L092RAG 答错了,先判断是没找到还是没用好
把评测拆成检索、证据装配和答案生成三层。
先用本课建立“RAG 评测”的基本直觉,后面的判断和练习才不会只靠记结论。
建议按完整课程顺序先看上一课;如果术语陌生,可以随时回补。
- 无需安装新工具
- 直接阅读并完成本页理解检查
最终答案错误并不能说明向量检索差。正确片段可能已返回,却被旧片段挤出上下文,或模型没有忠实使用。分层评测让修复对准位置。
能根据金标证据判断失败属于检索层还是生成层。
核心概念
先把关键判断说清楚
检索层看金标是否出现
Recall@k、首次命中排名和过滤错误回答“找到了吗”。
装配层看最终上下文
候选是否因重排、预算或权限处理被错误移除。
生成层看证据忠实
片段齐全时,答案是否正确引用、拒绝越界和表达未知。
案例拆解
答案漏例外,金标片段其实排第 4
top-10 召回已包含例外,但重排只保留 top-3。
- 01
检索 recall@10 通过,不修改查询。
- 02
装配评测发现例外片段被重排丢弃。
- 03
修复重排的 exception 特征并重跑生成。
案例结果
问题定位到装配层,避免误调嵌入模型。
提交前练习
现在轮到你
对五个失败回答做分层归因。
选做练习:本节练习可用于加速你巩固,但不影响继续学习。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
Q2 金标 top2、上下文存在、答案仍反写条件→生成层;Q3 金标未进 top20→查询/切片层;分别修复。
评分标准
- 每个失败有运行证据
- 归因层明确
- 修复不跨错层
本课收口 · 理解检查
用 30 秒确认你理解了
用 30 秒理解检查确认你抓住了重点;阅读标记、练习和总结都不设硬门槛。
你现在更接近哪一种状态?
尚有必填项未完成,请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks↗paper · 核对日期 2026-08-23
- Evals↗official-docs · 核对日期 2026-08-23