AIAI学习站
继续学习
本章进度 18 / 18
100%
评测与可观测性·练习·18 分钟
正文已完成

交付一套从失败样本追到根因的评测系统

整合验收集、指标、人工与模型评分、回归和 Trace，让评测结果能够追到根因和修复证据。

L185
为什么现在学

现在把“日志与追踪”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

本章项目要把“这个版本感觉更好”改成证据链，同一考卷得分怎样变化、哪些样本退化、评分是否可信、运行轨迹指向哪个组件。

这一课的结果

能完成一份从版本比较到根因定位均可执行的评测与可观测性方案。

核心概念

先把关键判断说清楚

01

结果连接运行版本

每条评测结果关联模型、Prompt、资料索引、工具和代码版本。

02

失败连接 Trace

从 sample_id 进入 trace_id，定位检索、生成、工具或校验层。

03

修复连接回归

根因修复后将失败样本加入永久集，并比较旧能力是否退化。

案例拆解

引用准确率下降的完整追踪

新版总体质量持平，但引用准确率从 94% 降到 81%。

  1. 01

    分层发现下降集中在更新资料，关联 trace 显示索引混用旧版本。

  2. 02

    修复版本过滤，将三条失败样本加入来源回归集。

  3. 03

    重跑全套，引用恢复 95%，其他质量和延迟无明显退化。

案例结果

指标发现问题，Trace 定位根因，回归证明修复，三类证据相互关联。

提交前练习

现在轮到你

为一项 AI 功能交付评测与追踪方案。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

验收集含 12 题，覆盖四个风险层级；Schema 由代码检查，内容覆盖由校准后的模型评分，高风险样本由人工复核；任何编造直接阻断，质量退化容忍度为 1%；每次结果保存 run_id、模型、提示词、索引版本与 trace_id，失败样本进入永久回归集。

评分标准

  • 考卷代表真实风险
  • 评分边界经校准
  • 失败可追到组件，修复后有回归验证

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
完整评测体系最关键的连接是什么？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。