本章进度 5 / 18
28%
正文已完成
L172指标提高了，产品却可能更难用
分析准确率、召回率、延迟、成本和人工负担之间的真实取舍。
把“评测指标”从听懂变成会判断，避免遇到真实任务时仍靠感觉选择。
建议先理解同主题上一课的核心概念，再完成本课判断练习。
- 无需安装新工具
- 准备一个可对照的真实问题或样本
把行动项召回率推到 100% 可能产生大量误报；增加多轮核验可提高准确，却让等待时间翻倍。指标必须成组设计。
能识别一个指标优化造成的副作用，并设置配套护栏。
核心概念
先把关键判断说清楚
主指标配护栏
优化召回时监控精确率和人工复核量，优化速度时监控错误率。
阈值来自使用动作
用于提示的候选可以容忍误报，用于自动执行的结果需要更高精确与批准。
分层看 Pareto
不同模型或流程可能在质量、速度、成本间各有优势，不必压成唯一排名。
案例拆解
行动项召回从 82% 到 98% 的代价
放宽规则后，每次会议误报从 1 条增至 11 条，用户停止使用。
- 01
主指标保留召回率，同时增加每会议误报数。
- 02
候选分高置信自动展示、低置信折叠待确认。
- 03
用实际复核时间衡量总体体验。
案例结果
指标不再奖励把负担转嫁给用户的表面提升。
提交前练习
现在轮到你
为一个目标指标设计至少两个护栏。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
主指标=问题召回；代价=误报和复核时间；护栏=每单误报≤1、P95 复核≤45秒；自动建单要求高置信+人工确认，低置信只提示。
评分标准
- 代价机制具体
- 护栏可测量
- 阈值与动作风险相符
本课收口 · 应用检查
完成一次应用，再检查理解
完成一次必填练习，再通过理解检查；阅读标记和总结不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- Monitoring Distributed Systems↗reference · 核对日期 2026-08-23