AIAI学习站
继续学习
本章进度 1 / 18
6%
评测与可观测性·理解·10 分钟
正文已完成

评测先出考卷，再谈模型得分

理解真实样本、边界样本和失败样本如何共同定义产品要解决的问题。

L168
为什么现在学

先用本课建立“验收样本”的基本直觉，后面的判断和练习才不会只靠记结论。

本课会用什么
  • 无需安装新工具
  • 直接阅读并完成本页理解检查

没有固定考卷时，团队会不断挑有利样本展示效果。评测集先冻结任务分布和失败后果，模型、提示词与流程才能在同一标准上比较。

这一课的结果

能说明评测样本为什么必须先于模型选择和提示词优化。

核心概念

先把关键判断说清楚

01

样本代表任务而非 Demo

从真实输入分层抽取，保留常见情况、边界情况和业务高损失情况。

02

期望写行为信号

开放任务可定义必须包含、不得出现和需人工判断的信号，不必强求唯一文案。

03

测试集与开发集分开

反复看同一批题会让修改过拟合，保留未参与调试的最终集。

案例拆解

客服摘要 Demo 很好，上线却漏承诺

演示只选短对话，真实长对话中的退款承诺和条件句从未进入测试。

  1. 01

    按对话长度、业务类型和承诺风险分层抽样。

  2. 02

    增加条件承诺、多人对话和信息不足案例。

  3. 03

    把漏掉金额或承诺设为阻断性失败。

案例结果

考卷开始代表真实使用，而不是只证明一个漂亮案例。

提交前练习

现在轮到你

为一项 AI 功能定义最小评测考卷。

选做练习：本节练习可用于加速你巩固，但不影响继续学习。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

会议纪要总体按会议长度和类型分层；普通为明确行动项，边界为条件承诺，高损失为金额与日期；必须引用原句，不得补造负责人。

评分标准

  • 样本来自真实任务分布
  • 包含高损失失败
  • 通过信号可观察

本课收口 · 理解检查

用 30 秒确认你理解了

用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。

0 / 1
02完成练习（选做）0 / 3 项已填写，不影响完成03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
为什么评测集应在模型优化前确定？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。