AIAI学习站
继续学习
本章进度 6 / 18
33%
开源模型与本地部署·练习·18 分钟
正文已完成

完成一次模型尺寸的同机对照测试

交付固定任务集、运行参数、质量、延迟、内存和选型结论的基准报告。

L335
为什么现在学

现在把“模型尺寸”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

从不同排行榜抄两个分数不能支持本地选型。对照测试要固定硬件、推理框架、量化格式、上下文、采样参数和任务集，并同时记录质量与系统指标。

这一课的结果

能在同一硬件和同一生成设置下比较两个模型尺寸并保留可复现证据。

核心概念

先把关键判断说清楚

01

控制变量保证可比

一次只改变模型尺寸等目标变量，其他格式、提示、参数和硬件保持一致。

02

预热与重复减少偶然

首次加载与缓存会影响速度，每个样本重复运行并报告中位数和分位数。

03

原始结果支持复核

保存提示、模型哈希、输出、评分理由和系统指标，结论才能被他人重算。

案例拆解

8B与14B中文摘要对照

团队准备在一台48GB统一内存设备上选择本地模型，网上基准与任务差异较大。

  1. 01

    固定同一推理框架和量化等级，记录模型文件哈希与系统版本。

  2. 02

    用30篇真实脱敏文章，固定提示、上下文和温度，每个模型预热后运行三次。

  3. 03

    记录事实错误、要点覆盖、首Token、吞吐、峰值内存和功耗，再按门槛决策。

案例结果

选型结果对应真实中文任务和具体设备，而不是依赖异构排行榜。

提交前练习

现在轮到你

设计一份两个模型尺寸的同机基准实验。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

固定Mac型号、llama.cpp版本、Q4格式、4k上下文、温度0；50条中文任务含10条高风险；记录人工rubric、TTFT、tokens/s、峰值内存；保存模型SHA、提示、全部输出与评分表。

评分标准

  • 除模型尺寸外主要变量固定
  • 样本覆盖真实与高风险任务
  • 原始产物足以独立复算

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 4 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
模型尺寸对照测试中，为什么要保存模型文件哈希？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。