AIAI学习站
继续学习
本章进度 10 / 18
56%
开源模型与本地部署·理解·10 分钟
正文已完成

显存、统一内存和磁盘承担不同职责

区分模型文件存储、运行中权重、上下文缓存和系统余量，建立硬件容量直觉。

L339
为什么现在学

先用本课建立“硬件与显存”的基本直觉，后面的判断和练习才不会只靠记结论。

本课会用什么
  • 无需安装新工具
  • 直接阅读并完成本页理解检查

模型文件保存在磁盘上，推理时权重与缓存必须进入可供计算设备访问的内存。独立GPU使用显存，统一内存架构由CPU与GPU共享池；无论哪种，都要与系统和其他进程争用容量。

这一课的结果

能解释磁盘能放下模型为何不代表内存能运行模型。

核心概念

先把关键判断说清楚

01

磁盘解决持久存储

文件能下载只证明存储空间足够，加载仍需要运行内存和支持的计算后端。

02

显存或统一内存承载工作集

权重、KV cache和临时张量组成运行工作集，峰值而非文件大小决定稳定性。

03

带宽影响吞吐

本地推理经常受内存带宽影响；容量相同的设备也可能有明显速度差异。

案例拆解

40GB磁盘空间救不了16GB运行内存

用户看到模型文件只有12GB且磁盘剩余40GB，认为16GB设备一定能运行长上下文。

  1. 01

    区分12GB文件与加载后的权重、缓存、框架和系统占用。

  2. 02

    关闭无关进程后测基础可用内存，再用目标上下文逐级加载。

  3. 03

    若峰值超安全余量，选择更小量化、缩短上下文或分层卸载，并重新测速度。

案例结果

容量判断基于运行峰值，而不是把磁盘剩余误当成显存。

提交前练习

现在轮到你

为一台设备画出本地推理的四层资源预算。

选做练习：本节练习可用于加速你巩固，但不影响继续学习。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

磁盘预留模型文件2倍空间用于下载与回滚；运行内存含5GB权重、3GB上下文缓存、1GB框架；系统至少保留8GB；在目标后端测首Token和tokens/s。

评分标准

  • 磁盘与运行内存没有混淆
  • 预算包含上下文和系统余量
  • 容量之外还验证计算速度

本课收口 · 理解检查

用 30 秒确认你理解了

用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。

0 / 1
02完成练习（选做）0 / 4 项已填写，不影响完成03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
模型文件12GB而设备磁盘空闲100GB，仍可能无法运行的主要原因是什么？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。