参数量只描述模型尺寸的一部分

案例拆解

模型能加载却在长文档时崩溃

一台机器成功加载量化模型，短问题正常，但输入长文档后内存不足。

1. 01

   分开记录权重文件、模型加载后基础内存和不同上下文的峰值。

2. 02

   用目标的1k、4k、16k Token 样本逐级测量，不直接跑最大值。

3. 03

   根据峰值减少上下文、选择更低占用格式或调整卸载，而不是只看参数量。