本章进度 18 / 19
95%
正文已完成
L094跑一轮能定位层级的 RAG 小评测
交付查询金标、检索指标、引用评分、失败归因和修复优先级。
现在把“RAG 评测”用于一次具体操作，检查你能否独立做出并修正结果。
建议先完成同主题的理解与判断；本页不会锁课，可以边做边回补。
- 按本课练习说明准备真实材料
- 保留练习与复盘记录
本课把前面指标落实到同一运行记录。每个问题既保存检索候选，也保存最终上下文、答案和引用判断。
能用至少十个问题完成一次端到端且可定位的 RAG 评测。
核心概念
先把关键判断说清楚
统一 run_id 串联各层
查询、候选、重排、上下文和答案可按同一次运行复盘。
失败按可修复性排序
权限泄漏与旧版引用优先于轻微表达问题。
修复后跑全套
局部改查询或切片可能影响其他问题，必须回归。
案例拆解
十问评测找出三类根因
知识库工程师用十个带金标的问题评测客服政策问答，最终只有 7/10 正确。
- 01
一题因同义词漏检，两题因旧版重排过高。
- 02
引用忠实度在证据齐全题为 100%，生成层无需先改。
- 03
优先修查询改写和版本过滤，重跑十题。
案例结果
7/10 不再是模糊总分，而是两项具体系统修复。
提交前练习
现在轮到你
完成一次十问 RAG 评测。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
10 问逐题保存 run_id；检索 recall@10=90%，引用正确=95%；一题同义词漏检、一题旧版错排；先修版本过滤，再全量回归。
评分标准
- 各层数据可关联
- 失败不是只看最终分
- 修复顺序按风险
本课收口 · 学习证据
留下完整学习证据
读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks↗paper · 核对日期 2026-08-23
- Evals↗official-docs · 核对日期 2026-08-23
- OpenTelemetry Signals↗official-docs · 核对日期 2026-08-23