本章进度 17 / 19
89%
上下文、知识库与 RAG·判断·13 分钟
正文已完成

命中率提高,引用准确率为什么可能下降

理解检索覆盖、上下文噪声、答案正确与引用忠实之间的指标取舍。

L093
为什么现在学

把“RAG 评测”从听懂变成会判断,避免遇到真实任务时仍靠感觉选择。

本课会用什么
  • 无需安装新工具
  • 准备一个可对照的真实问题或样本

扩大 top-k 常提高召回,却也带入旧版和相邻片段。答案可能更长、引用更多,但错配率上升。指标必须联动观察。

这一课的结果

能为 RAG 指标选择护栏,避免只优化召回。

核心概念

先把关键判断说清楚

01

检索覆盖配候选纯度

Recall@k 提高时同时看相关片段占比和最终上下文长度。

02

答案质量配忠实度

事实正确、引用覆盖和引用支持是不同维度。

03

未知处理是正向指标

证据不足时正确拒答,不应被简单答案率惩罚。

案例拆解

top-k 从 5 调到 30 后总分反降

金标召回从 82% 到 96%,引用错配从 4% 升到 19%。

  1. 01

    保留宽召回,但增加版本过滤和重排。

  2. 02

    最终上下文限制为支持不同信息需求的 6 片。

  3. 03

    同时监控 recall、citation correctness 和 unsupported claim rate。

案例结果

召回提升不再以引用可靠性为代价。

提交前练习

现在轮到你

为 RAG 目标指标设计三项护栏。

完成本课需要:完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

主指标 recall@10;护栏=候选精确率、citation correctness≥95%、上下文 Token≤6000;unsupported claim rate 必须不升。

评分标准

  • 指标跨检索与生成
  • 护栏对应真实副作用
  • 门槛可测量

本课收口 · 应用检查

完成一次应用,再检查理解

完成一次必填练习,再通过理解检查;阅读标记和总结不设硬门槛。

0 / 2
02完成本课必填练习0 / 3 项必填内容已填写03通过理解检查点此去回答,约 30 秒
04补一句总结(可选)可以留空,不影响完成本课。
增加 top-k 后最应同时监控什么?
你现在更接近哪一种状态?
尚有必填项未完成,请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。