AIAI学习站
继续学习
本章进度 18 / 18
100%
成本、速度与模型选择·练习·18 分钟
正文已完成

建立一份端到端延迟预算

为链路各阶段设目标、观测高分位与超时，并用真实任务验证优化。

L257
为什么现在学

现在把“延迟优化”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

延迟预算把“快”拆成各阶段可以观测和负责的目标。预算应围绕用户等待边界分配。

这一课的结果

能提交延迟预算与追踪方案，定位超标阶段并提出有证据的优化顺序。

核心概念

先把关键判断说清楚

01

从用户目标倒推预算

先定义何时必须看到确认、首个结果和最终结果，再给各链路阶段分配上限。

02

每段都要有追踪身份

用同一 trace 关联网关、检索、模型、工具和前端，避免跨系统丢失因果。

03

优化后重测质量

减少检索、换模型或缩短上下文可能影响结果，速度验收必须与质量门槛一起执行。

案例拆解

八秒目标被检索拖垮

目标是八秒内完成回答，P95 为十四秒；trace 显示冷启动检索占七秒。

  1. 01

    把接收回执、首结果和完成分别设预算

  2. 02

    预热索引并给检索设置超时与降级

  3. 03

    用相同评测集确认召回和答案质量

案例结果

P95 回到预算内，且没有以漏检换速度。

提交前练习

现在轮到你

为一个端到端 AI 请求制定延迟预算和验证计划。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

200ms 内确认、2s 内首段、8s 内完成；为每段记录 span 与统一 trace ID；报告 P50/P95/超时率，并重测检索召回和引用正确率。

评分标准

  • 预算从用户目标倒推
  • 可以定位具体超标阶段
  • 优化后同时复测质量

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
缩短检索时间后回答变快，但引用正确率下降，应怎样判断？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。