本章进度 2 / 18
11%
正文已完成
L133别把系统缺陷都归咎于模型
从输入装配、工具网关、状态更新和输出验证四层定位失败。
把“Harness 的职责”从听懂变成会判断,避免遇到真实任务时仍靠感觉选择。
建议先理解同主题上一课的核心概念,再完成本课判断练习。
- 无需安装新工具
- 准备一个可对照的真实问题或样本
同一错误结论可能来自资料漏装、模型误判、工具返回异常或校验漏放。只换模型会掩盖实际的软件缺陷。
能根据运行证据判断问题来自模型选择还是 Harness 实现。
核心概念
先把关键判断说清楚
输入层先查完整性
确认版本、切片、时区和权限过滤是否正确,避免模型在残缺资料上被评判。
执行层查真实回执
工具被调用不代表成功,应检查状态码、返回版本和副作用。
验证层查漏网条件
坏结果若本应被 Schema 或规则拒绝,缺陷在 Harness 放行,而非仅在生成。
案例拆解
模型引用了旧版退款政策
团队准备换模型,但轨迹显示检索结果来自已废弃文档。
- 01
输入层发现索引仍保留 v2,且未按 effective_date 过滤。
- 02
模型忠实引用了检索到的 v2,没有自行发明条款。
- 03
修复知识更新与版本过滤后,原模型在回归集通过。
案例结果
根因是 Harness 的资料治理,不是模型能力。
提交前练习
现在轮到你
对一次 AI 失败完成四层定位。
完成本课需要:完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
报告金额错误,输入层 CSV 小数点被解析为千位;模型按错误数值总结;工具无写操作;验证层缺少总额对账。修复解析和对账,而非先换模型。
评分标准
- 四层均有证据或明确未知
- 根因与修复位于同一层
- 没有把相关性当作模型原因
本课收口 · 应用检查
完成一次应用,再检查理解
完成一次必填练习,再通过理解检查;阅读标记和总结不设硬门槛。
你现在更接近哪一种状态?
尚有必填项未完成,请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Trustworthy agents in practice↗paper · 核对日期 2026-08-23
- OpenTelemetry Signals↗official-docs · 核对日期 2026-08-23