AIAI学习站从第 1 课开始
课程 340 / 365
93%
开源模型与本地部署·判断·13 分钟
正文已完成

估算硬件时必须把上下文和并发算进去

比较权重、KV cache、并发副本、运行缓冲和系统余量，判断容量是否真实可用。

L340

单请求短上下文能运行，不代表目标服务容量足够。并发会让多个序列同时保留缓存，批处理和后端策略也会改变峰值。估算应给出假设范围，再用目标负载实测校准。

这一课的结果

能为目标模型与任务估算内存预算，并指出需要实测校准的部分。

核心概念

先把关键判断说清楚

01

权重是相对固定项

同一模型文件加载后权重占用大致固定，但格式与设备卸载方式会改变位置和额外开销。

02

KV cache随上下文和并发增长

每个活动序列需要自己的上下文状态，长输入与多人同时生成会显著增加工作集。

03

预算用峰值与余量验收

平均占用不能防止瞬间OOM；用目标并发峰值并保留系统余量更可靠。

案例拆解

单用户正常，四并发就被系统终止

本地服务用8k上下文单请求稳定，但四人同时使用时内存峰值超过设备容量。

  1. 01

    记录单请求权重、缓存和临时缓冲，分别测1、2、4并发。

  2. 02

    发现每个活动序列的KV cache叠加是主要增量。

  3. 03

    限制并发为2并排队其余请求，或降低上下文上限，再验证p95等待与峰值。

案例结果

容量策略从“模型能跑”变成并发、上下文和等待的可量化取舍。

提交前练习

现在轮到你

为一个本地服务完成三档并发容量估算。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

固定权重9GB、框架1GB；每8k序列缓存约2GB待实测；测并发1/2/4；设备可用32GB且保留8GB系统余量，先限并发4以下，峰值超24GB即排队或降上下文。

评分标准

  • 固定与可变项分开
  • 负载包含目标并发
  • 护栏基于峰值和系统余量

本课收口 · 学习证据

完成，不等于随手打一个勾。

确认阅读、保存练习，再用 30 秒检查和一句话总结留下真实学习证据。

0 / 3
02完成本课练习0 / 4 项必填内容已填写
03通过理解检查约 30 秒
为什么本地服务的内存预算要按目标并发测试？
你现在更接近哪一种状态？
完成上面三项后，才能把本课记为已验证。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。