本章进度 9 / 19
47%
正文已完成
L047用同一组样本验收模型能力
固定输入、评分规则和运行配置，比较模型在真实任务上的能力边界与失败类型。
现在把“参数与能力”用于一次具体操作，检查你能否独立做出并修正结果。
建议先完成同主题的理解与判断；本页不会锁课，可以边做边回补。
- 按本课练习说明准备真实材料
- 保留练习与复盘记录
模型对比不是分别挑一个最漂亮答案。只有相同样本、相同工具条件和一致评分，差异才有决策价值。
能完成一次可复现的模型对比，给出使用与升级建议。
核心概念
先把关键判断说清楚
控制比较变量
提示、检索资料、工具、温度和输出上限尽量保持一致，单独记录不可消除的差异。
按失败类型分析
区分事实错、格式错、漏项、过度拒绝和成本超限，比一个平均分更能指导路由。
保留复跑证据
记录模型版本、样本ID、配置、原始输出和评分理由，便于版本更新后回归。
案例拆解
演示题让候选模型全部满分
团队用供应商展示过的五条简单样本选型，三个模型都表现完美，正式流量却频繁漏掉多意图工单。
- 01
从历史失败中加入多意图与信息缺失样本
- 02
固定JSON schema和评分规则
- 03
按错误类型比较并制定升级条件
案例结果
评测揭示小模型在多意图场景漏项，团队只对该类请求升级路由。
提交前练习
现在轮到你
选择两种模型，对同一小型任务集做公平比较。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
固定同一提示、schema与50条样本；记录事实错、漏项、格式错和过拒；保存版本与原始输出；小模型处理单意图，出现多意图或低置信升级。
评分标准
- 比较变量受控
- 失败不只汇总为平均分
- 建议对应可观察条件
本课收口 · 学习证据
留下完整学习证据
读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Evals↗official-docs · 核对日期 2026-08-23
- Monitoring Distributed Systems↗reference · 核对日期 2026-08-23