本章进度 2 / 18
11%
正文已完成
L169一百条样本也可能测错问题
识别便利抽样、类别失衡、时间泄漏和重复样本造成的虚高分。
把“验收样本”从听懂变成会判断，避免遇到真实任务时仍靠感觉选择。
建议先理解同主题上一课的核心概念，再完成本课判断练习。
- 无需安装新工具
- 准备一个可对照的真实问题或样本
样本数量无法弥补选择偏差。全部来自同一团队、同一模板或同一时间段的 100 条，可能比经过分层的 30 条更不可信。
能审查评测集是否代表目标人群、当前数据和关键风险。
核心概念
先把关键判断说清楚
分层覆盖而非平均
高损失少数场景即使比例低，也需要足够样本单独观察。
近重复会虚增稳定性
同一模板改名字不算独立样本，应按来源或语义去重。
时间切分防止泄漏
评测当前能力时，应避免样本答案已经出现在提示示例或训练资料中。
案例拆解
发票评测 95 分却识别不了海外票
200 条样本中 190 条来自同一国内模板，海外票只有两条。
- 01
按票据地区、版式和币种重新分层。
- 02
去除同模板重复，只保留有意义变体。
- 03
分别报告国内、海外和异常票得分，不用总平均掩盖。
案例结果
评测暴露目标场景缺口，而不是被多数简单样本稀释。
提交前练习
现在轮到你
审查一个现有或假想评测集。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
客服集全来自白天在线渠道；补电话、夜间和升级投诉；按渠道/风险分层，基于会话 ID 去重，并预留最近一个月作为未见测试。
评分标准
- 偏差具体可验证
- 修复对应目标分布
- 保留独立测试部分
本课收口 · 应用检查
完成一次应用，再检查理解
完成一次必填练习，再通过理解检查；阅读标记和总结不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- NIST AI Risk Management Framework↗standard · 核对日期 2026-08-23