AIAI学习站
继续学习
本章进度 11 / 18
61%
开源模型与本地部署·判断·13 分钟
正文已完成

估算硬件时必须把上下文和并发算进去

比较权重、KV cache、并发副本、运行缓冲和系统余量，判断容量是否真实可用。

L340
为什么现在学

把“硬件与显存”从听懂变成会判断，避免遇到真实任务时仍靠感觉选择。

本课会用什么
  • 无需安装新工具
  • 准备一个可对照的真实问题或样本

单请求短上下文能运行，不代表目标服务容量足够。并发会让多个序列同时保留缓存，批处理和后端策略也会改变峰值。估算应给出假设范围，再用目标负载实测校准。

这一课的结果

能为目标模型与任务估算内存预算，并指出需要实测校准的部分。

核心概念

先把关键判断说清楚

01

权重是相对固定项

同一模型文件加载后权重占用大致固定，但格式与设备卸载方式会改变位置和额外开销。

02

KV cache随上下文和并发增长

每个活动序列需要自己的上下文状态，长输入与多人同时生成会显著增加工作集。

03

预算用峰值与余量验收

平均占用不能防止瞬间OOM；用目标并发峰值并保留系统余量更可靠。

案例拆解

单用户正常，四并发就被系统终止

本地服务用8k上下文单请求稳定，但四人同时使用时内存峰值超过设备容量。

  1. 01

    记录单请求权重、缓存和临时缓冲，分别测1、2、4并发。

  2. 02

    发现每个活动序列的KV cache叠加是主要增量。

  3. 03

    限制并发为2并排队其余请求，或降低上下文上限，再验证p95等待与峰值。

案例结果

容量策略从“模型能跑”变成并发、上下文和等待的可量化取舍。

提交前练习

现在轮到你

为一个本地服务完成三档并发容量估算。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

固定权重9GB、框架1GB；每8k序列缓存约2GB待实测；测并发1/2/4；设备可用32GB且保留8GB系统余量，先限并发4以下，峰值超24GB即排队或降上下文。

评分标准

  • 固定与可变项分开
  • 负载包含目标并发
  • 护栏基于峰值和系统余量

本课收口 · 应用检查

完成一次应用，再检查理解

完成一次必填练习，再通过理解检查；阅读标记和总结不设硬门槛。

0 / 2
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
为什么本地服务的内存预算要按目标并发测试？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。