本章进度 2 / 18
11%
Harness 与工作流·判断·13 分钟
正文已完成

别把系统缺陷都归咎于模型

从输入装配、工具网关、状态更新和输出验证四层定位失败。

L133
为什么现在学

把“Harness 的职责”从听懂变成会判断,避免遇到真实任务时仍靠感觉选择。

本课会用什么
  • 无需安装新工具
  • 准备一个可对照的真实问题或样本

同一错误结论可能来自资料漏装、模型误判、工具返回异常或校验漏放。只换模型会掩盖实际的软件缺陷。

这一课的结果

能根据运行证据判断问题来自模型选择还是 Harness 实现。

核心概念

先把关键判断说清楚

01

输入层先查完整性

确认版本、切片、时区和权限过滤是否正确,避免模型在残缺资料上被评判。

02

执行层查真实回执

工具被调用不代表成功,应检查状态码、返回版本和副作用。

03

验证层查漏网条件

坏结果若本应被 Schema 或规则拒绝,缺陷在 Harness 放行,而非仅在生成。

案例拆解

模型引用了旧版退款政策

团队准备换模型,但轨迹显示检索结果来自已废弃文档。

  1. 01

    输入层发现索引仍保留 v2,且未按 effective_date 过滤。

  2. 02

    模型忠实引用了检索到的 v2,没有自行发明条款。

  3. 03

    修复知识更新与版本过滤后,原模型在回归集通过。

案例结果

根因是 Harness 的资料治理,不是模型能力。

提交前练习

现在轮到你

对一次 AI 失败完成四层定位。

完成本课需要:完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

报告金额错误,输入层 CSV 小数点被解析为千位;模型按错误数值总结;工具无写操作;验证层缺少总额对账。修复解析和对账,而非先换模型。

评分标准

  • 四层均有证据或明确未知
  • 根因与修复位于同一层
  • 没有把相关性当作模型原因

本课收口 · 应用检查

完成一次应用,再检查理解

完成一次必填练习,再通过理解检查;阅读标记和总结不设硬门槛。

0 / 2
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答,约 30 秒
04补一句总结(可选)可以留空,不影响完成本课。
模型引用过期文档,而检索器确实提供了该文档,首要修复点是?
你现在更接近哪一种状态?
尚有必填项未完成,请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。