AIAI学习站
继续学习
本章进度 16 / 18
89%
成本、速度与模型选择·理解·10 分钟
正文已完成

把慢拆成排队、首响应和完成时间

用端到端链路定位等待发生在哪一段，避免把所有延迟都归给模型。

L255
为什么现在学

先用本课建立“延迟优化”的基本直觉，后面的判断和练习才不会只靠记结论。

本课会用什么
  • 无需安装新工具
  • 直接阅读并完成本页理解检查

用户说慢时，可能慢在上传、排队、检索、模型首响应、逐步生成、工具调用或前端渲染。先分解再优化。

这一课的结果

能画出一次 AI 请求的延迟分解，并区分首个有效结果与全部完成时间。

核心概念

先把关键判断说清楚

01

端到端才是用户体验

单看模型耗时会遗漏队列、网络、工具和页面处理，必须从用户动作到可用结果计时。

02

首响应与完成时间不同

阅读型任务重视首个有效片段，批处理任务更关心全部结果和后台完成。

03

尾延迟决定坏体验

平均值可能很好看，少数非常慢的请求仍会造成大量投诉，应观察分位数和超时。

案例拆解

模型只用了两秒，页面却等了十二秒

链路数据显示上传四秒、排队三秒、检索两秒、模型两秒、前端处理一秒。

  1. 01

    建立统一 trace 关联各阶段

  2. 02

    分别记录首响应和完成时间

  3. 03

    先优化占比最大的上传与排队

案例结果

团队停止盲目更换模型，优化命中实际瓶颈。

提交前练习

现在轮到你

画出一个 AI 请求从点击到可用结果的延迟时间线。

选做练习：本节练习可用于加速你巩固，但不影响继续学习。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

点击发生在第 0 秒，上传用 0 到 3 秒，排队用 3 到 5 秒，检索用 5 到 6 秒，模型在第 8 秒返回首段并在第 12 秒完成；同时报告 P50、P95 和超时率。

评分标准

  • 覆盖端到端阶段
  • 区分首结果与完成
  • 不只报告平均值

本课收口 · 理解检查

用 30 秒确认你理解了

用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。

0 / 1
02完成练习（选做）0 / 4 项已填写，不影响完成03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
平均耗时 3 秒但少量请求超过 30 秒，应重点查看什么？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。