本章进度 4 / 18
22%
正文已完成
L171一个总分为什么掩盖最重要的失败
理解正确性、完整性、证据、安全、延迟和成本需要分别观察。
先用本课建立“评测指标”的基本直觉，后面的判断和练习才不会只靠记结论。
建议按完整课程顺序先看上一课；如果术语陌生，可以随时回补。
- 无需安装新工具
- 直接阅读并完成本页理解检查
模型可以语言流畅却事实错误，也可以准确但慢到不可用。将所有维度压成总分，会让多数低风险样本掩盖少量灾难性错误。
能解释为什么 AI 产品不能只用一个平均分判断好坏。
核心概念
先把关键判断说清楚
质量维度分开
正确、完整、相关和有证据分别评分，才能知道要修模型、资料还是提示。
安全设护栏指标
越权、泄密和编造高风险事实通常采用发生率或零容忍门槛。
体验与资源并看
首字延迟、总时长、Token 和工具次数影响真实可用性。
案例拆解
95 分助手仍不能上线
100 条中 95 条满分，5 条涉及金额时会编造，平均分仍很高。
- 01
将金额编造单列为 hallucinated_amount_rate。
- 02
设为阻断指标，目标必须为 0。
- 03
普通表达质量继续用平均分，但不抵消阻断错误。
案例结果
指标结构体现失败后果，而非被平均数粉饰。
提交前练习
现在轮到你
为一项 AI 功能列出质量、安全和运行三类指标。
选做练习：本节练习可用于加速你巩固，但不影响继续学习。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
摘要，事实准确率、行动项召回率、引用覆盖率；阻断，编造金额率=0、越权调用=0；运行，P95 延迟、单次成本、工具错误率。
评分标准
- 指标对应不同失败层
- 阻断指标独立
- 运行指标能影响产品选择
本课收口 · 理解检查
用 30 秒确认你理解了
用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- NIST AI Risk Management Framework↗standard · 核对日期 2026-08-23