本章进度 10 / 18
56%
正文已完成
L177让模型当裁判，先认识它会偏向什么
理解位置、长度、措辞、品牌和自我偏好如何影响模型评分。
先用本课建立“模型评分”的基本直觉，后面的判断和练习才不会只靠记结论。
建议按完整课程顺序先看上一课；如果术语陌生，可以随时回补。
- 无需安装新工具
- 直接阅读并完成本页理解检查
模型裁判便宜且可扩展，但它可能偏好长答案、第一位置或与自身风格相似的表达。高一致不等于与业务真相一致。
能列出模型裁判的主要偏差，并说明为何需人工抽检。
核心概念
先把关键判断说清楚
位置偏差
比较两答案时交换 A/B 顺序，检查结论是否稳定。
表面质量偏差
流畅和篇幅可能掩盖事实错误，裁判提示要先检查阻断项。
裁判也需评测
用人工金标集测裁判的一致率、分层错误和置信边界。
案例拆解
长答案赢过准确短答案
裁判偏好结构丰富的回答，尽管其中一条来源不存在。
- 01
将来源真实性设为先决检查，伪造即失败。
- 02
删除“详细程度”这一混合维度，按准确和覆盖分开。
- 03
抽检高分长答案，并交换候选顺序复测。
案例结果
裁判不再用表达丰富度补偿事实错误。
提交前练习
现在轮到你
为一个模型裁判列偏差测试。
选做练习：本节练习可用于加速你巩固，但不影响继续学习。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
对同一答案交换 A/B；制作等事实不同长度版本；隐藏模型名；用 30 条专家金标测分层一致率，并抽检所有阻断判断。
评分标准
- 偏差测试控制变量
- 有独立人工基准
- 高风险判定不全自动
本课收口 · 理解检查
用 30 秒确认你理解了
用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile↗standard · 核对日期 2026-08-23