本章进度 12 / 18
67%
正文已完成
L179校准一个不会自说自话的模型裁判
用金标、顺序交换、置信阈值和人工复核验证裁判可靠性。
现在把“模型评分”用于一次具体操作，检查你能否独立做出并修正结果。
建议先完成同主题的理解与判断；本页不会锁课，可以边做边回补。
- 按本课练习说明准备真实材料
- 保留练习与复盘记录
本课不以“裁判能输出分数”为完成。必须用人工金标证明它在哪些分层可信、在哪些分层应停用。
能交付一份模型裁判提示、校准结果和可用边界。
核心概念
先把关键判断说清楚
裁判只看必要证据
提供任务、Rubric、候选答案和来源，不暴露模型品牌与无关元数据。
输出分数也输出证据
要求引用触发评分的原句和 Rubric 条款，便于复核。
边界按分层设定
总体一致率达标仍可能在高风险层失败，应分别设置可用门槛。
案例拆解
裁判总体 88%，金额层只有 60%
评测团队准备让模型裁判判断客服摘要是否覆盖事实、金额和来源，并计划全量自动评分。
- 01
保留普通摘要自动初评，置信低者抽检。
- 02
金额和来源真实性层禁用自动终判，全部人工。
- 03
记录裁判版本和每次评分证据，后续重新校准。
案例结果
总体分没有掩盖关键分层失败，自动化范围被限制。
提交前练习
现在轮到你
设计一个模型裁判校准包。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
30 条金标按普通/边界/金额分层；交换 A/B、等事实不同长度、隐藏品牌；普通一致≥90%可初评，边界低置信抽检，金额不自动终判。
评分标准
- 校准样本独立
- 测试表面偏差
- 使用边界由分层结果决定
本课收口 · 学习证据
留下完整学习证据
读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile↗standard · 核对日期 2026-08-23
- NIST AI Risk Management Framework↗standard · 核对日期 2026-08-23