AIAI学习站
继续学习
本章进度 9 / 19
47%
上下文、知识库与 RAG·练习·18 分钟
正文已完成

用十个真实问题测出检索漏在哪里

交付查询、金标片段、命中排名和失败分类组成的检索测试表。

L085
为什么现在学

现在把“检索与召回”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

没有金标片段时，只能看回答感觉。今天先不生成答案，专门检查检索是否把正确证据带回来。

这一课的结果

能建立一套可判断查询、切片或排序问题的检索测试。

核心概念

先把关键判断说清楚

01

查询来自真实表达

保留用户口语、缩写和条件，不只用文档标题作查询。

02

金标允许多片

完整回答可能需要规则、例外和定义三片，不能强设唯一答案。

03

失败归因到检索层

是查询未表达、切片破碎、过滤错误还是排名过低，要分别记录。

案例拆解

十问政策检索测试

三个问题完全漏检，回答团队原本准备改生成提示。

  1. 01

    问题 A 用内部简称，查询改写缺同义词。

  2. 02

    问题 B 的表格列名在切片时丢失。

  3. 03

    问题 C 被错误权限标签过滤。

案例结果

三个失败分别修查询、切片和权限，不再把所有问题推给模型。

提交前练习

现在轮到你

制作十问检索测试表。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

Q1“出差能打车吗”金标 policy-v5 4.2+例外4.2.1；top10均未命中，因“网约车”同义词缺失；加入查询改写后排名2。

评分标准

  • 查询贴近用户语言
  • 金标可回原文
  • 失败分类可指导修复

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
金标片段已在 top-3，但最终回答仍错，首先排查？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。