本章进度 8 / 18
44%
正文已完成
L175两位评审总打不一样，先别急着求平均
通过校准样本、分歧分类和裁决规则提高评分一致性。
把“人工评分”从听懂变成会判断，避免遇到真实任务时仍靠感觉选择。
建议先理解同主题上一课的核心概念，再完成本课判断练习。
- 无需安装新工具
- 准备一个可对照的真实问题或样本
分歧不是简单噪声，它暴露 Rubric 模糊、样本边界或评分者理解不同。直接平均会掩盖这些问题。
能分析评分分歧来自标准、证据还是操作错误，并提出修订。
核心概念
先把关键判断说清楚
先独立评分再讨论
避免后评分者受先发意见锚定。
分歧按类型记录
标准歧义、事实判断、漏看证据和录入错误需要不同修复。
校准更新 Rubric
对典型分歧形成正式锚点和说明，不只口头达成一致。
案例拆解
引用了二手报道算不算有来源
Rubric 只写“有可靠来源”，两位评分者分别给 2 分和 1 分。
- 01
确认当前任务要求原始来源，因此二手报道只能得 1 分。
- 02
把来源层级写入锚点，并增加一条校准样本。
- 03
重评受影响样本，而非只改未来评分。
案例结果
分歧转化为更明确的标准和可追踪重评范围。
提交前练习
现在轮到你
对一组评分分歧做校准。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
A=2、B=1；分歧来自“可靠来源”定义；修订为官方原文2、权威转述1、无来源0；重评所有只引用媒体转述样本。
评分标准
- 分歧有证据
- 修订可操作
- 考虑历史结果一致性
本课收口 · 应用检查
完成一次应用，再检查理解
完成一次必填练习，再通过理解检查；阅读标记和总结不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- NIST AI Risk Management Framework↗standard · 核对日期 2026-08-23