完成一次模型尺寸的同机对照测试

交付固定任务集、运行参数、质量、延迟、内存和选型结论的基准报告。

L335

从不同排行榜抄两个分数不能支持本地选型。对照测试要固定硬件、推理框架、量化格式、上下文、采样参数和任务集，并同时记录质量与系统指标。

这一课的结果

能在同一硬件和同一生成设置下比较两个模型尺寸并保留可复现证据。

核心概念

一次只改变模型尺寸等目标变量，其他格式、提示、参数和硬件保持一致。

首次加载与缓存会影响速度，每个样本重复运行并报告中位数和分位数。

保存提示、模型哈希、输出、评分理由和系统指标，结论才能被他人重算。

案例拆解

团队准备在一台48GB统一内存设备上选择本地模型，网上基准与任务差异较大。

案例结果

选型结果对应真实中文任务和具体设备，而不是依赖异构排行榜。

提交前练习

设计一份两个模型尺寸的同机基准实验。

控制变量 · 必填任务样本 · 必填质量与系统指标 · 必填复现产物 · 必填

内容会自动保存在当前设备

查看参考答案与评分标准

固定Mac型号、llama.cpp版本、Q4格式、4k上下文、温度0；50条中文任务含10条高风险；记录人工rubric、TTFT、tokens/s、峰值内存；保存模型SHA、提示、全部输出与评分表。

本课收口 · 学习证据

确认阅读、保存练习，再用 30 秒检查和一句话总结留下真实学习证据。

0 / 3

02完成本课练习0 / 4 项必填内容已填写

03通过理解检查约 30 秒

模型尺寸对照测试中，为什么要保存模型文件哈希？A确认测试对应同一个可复现权重文件B提升生成文风C自动消除所有随机性

用自己的话写下一句本课结论至少再写 12 个字。

你现在更接近哪一种状态？

完成上面三项后，才能把本课记为已验证。

资料来源

本课内容最近更新于 2026-08-23。