AIAI学习站
继续学习
本章进度 9 / 18
50%
评测与可观测性·练习·18 分钟
正文已完成

做一轮能留下分歧证据的人工评测

交付 Rubric、双盲评分、分歧日志、校准结果和重评记录。

L176
为什么现在学

现在把“人工评分”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

本课要求至少两位评分者独立评十条答案。最终产物不仅是分数，还要留下依据、分歧和标准变更。

这一课的结果

能组织一轮小规模人工评测并证明评分过程可复核。

核心概念

先把关键判断说清楚

01

样本顺序随机化

减少版本顺序、模型名称和答案位置带来的偏差。

02

隐藏无关身份

评分时尽量不展示模型品牌或作者，聚焦结果本身。

03

版本化保存 Rubric

校准前后分数必须关联对应标准版本，不能混用。

案例拆解

十条摘要双盲评分

两位评审对来源覆盖和行动项完整度评分。

  1. 01

    隐藏模型名并随机答案顺序，分别独立打分。

  2. 02

    记录三处分歧及引用原句，校准来源层级。

  3. 03

    发布 rubric v1.1，并重评受新定义影响的四条。

案例结果

最终分数可追溯到样本、评分者、证据和 Rubric 版本。

提交前练习

现在轮到你

设计一轮十样本双评审流程。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

rubric v1 三维；隐藏模型名随机顺序；双评审独立打分；差异≥1 分进入日志；校准后发布 v1.1 并按 affected_dimension 重评。

评分标准

  • 流程保持独立评分
  • 分歧可追溯
  • 标准版本与分数关联

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
盲评隐藏模型名称主要减少什么？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。