AIAI学习站
继续学习
本章进度 9 / 18
50%
开源模型与本地部署·练习·18 分钟
正文已完成

交付一份量化格式选择报告

把容量、质量、速度、能耗和兼容性合成可复查的量化决策。

L338
为什么现在学

现在把“量化”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

量化选型应同时回答“装得下、答得对、跑得快、后端支持、出了问题能回退”。本课用一张统一表比较至少三种格式，并把结论绑定到具体设备和任务。

这一课的结果

能用同机实验选择目标量化格式，并记录不适用范围与回退方案。

核心概念

先把关键判断说清楚

01

先淘汰不兼容格式

目标后端无法稳定加载或缺少优化内核的格式，无需仅凭理论体积进入最终候选。

02

容量要留运行余量

峰值恰好占满设备会导致系统抖动，应为操作系统、上下文增长和并发预留空间。

03

结论注明适用环境

同一格式在GPU、CPU或不同芯片上表现可能不同，报告不能泛化为全平台最佳。

案例拆解

Q4、Q5、Q8三档本地选型

团队在同一设备比较三档模型，希望兼顾中文质量、8k上下文和每秒输出。

  1. 01

    固定模型哈希、框架版本和50条任务，分别记录加载、峰值、TTFT、吞吐与功耗。

  2. 02

    以数字准确100%、中文rubric≥4/5和峰值不超设备70%作为门槛。

  3. 03

    Q5通过全部门槛且速度可接受，Q4用于低风险批量，Q8保留回归基线。

案例结果

最终采用三档分工，每一档都有明确职责。

提交前练习

现在轮到你

为三种量化格式完成一份同机比较设计。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

候选Q4/Q5/Q8同一模型；测100条任务、1k/8k上下文和并发1/2；数字与Schema100%、峰值≤70%统一内存；Q5主选、Q4离线草稿、Q8回归基线，代码生成不用Q4。

评分标准

  • 候选文件与环境可复现
  • 测量覆盖质量和系统指标
  • 结论含场景边界与回退

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
为什么量化选型要给设备内存留安全余量？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。