显存、统一内存和磁盘承担不同职责

案例拆解

40GB磁盘空间救不了16GB运行内存

用户看到模型文件只有12GB且磁盘剩余40GB，认为16GB设备一定能运行长上下文。

1. 01

   区分12GB文件与加载后的权重、缓存、框架和系统占用。

2. 02

   关闭无关进程后测基础可用内存，再用目标上下文逐级加载。

3. 03

   若峰值超安全余量，选择更小量化、缩短上下文或分层卸载，并重新测速度。