课程 344 / 365
94%
开源模型与本地部署·练习·18 分钟
正文已完成

交付一条可复现的本地推理运行链

把模型身份、安装、启动、参数、质量检查、资源监控和回滚写成运行手册。

L344

本地模型演示能回答“这台机器此刻能跑”,运行手册则要回答模型从哪里来、文件是否一致、用什么后端与参数、怎样验证、更新失败如何回退。

这一课的结果

能让另一位成员在目标设备复现同一模型结果与性能测量。

核心概念

先把关键判断说清楚

01

供应链身份必须记录

来源URL、许可证、版本、哈希和扫描结果让模型文件可追溯。

02

生成参数属于版本

上下文、温度、采样、线程和GPU卸载会改变输出与速度,应与模型一起记录。

03

升级先影子验证

新模型或新后端先跑固定样本和资源基准,通过后再替换,并保留旧文件与配置。

案例拆解

从一次命令到团队本地服务

开发者在个人终端运行成功,但同事下载了同名不同修订,输出与速度无法复现。

  1. 01

    锁定模型下载地址、文件哈希、许可证和llama.cpp版本。

  2. 02

    保存启动命令、上下文、线程、卸载层和健康测试提示。

  3. 03

    新版本使用20条固定回归和峰值监控,失败即切回旧模型软链接。

案例结果

本地推理从个人演示变成可复现、可升级、可回退的团队运行链。

提交前练习

现在轮到你

为一个本地模型完成运行与升级手册。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

模型来自官方仓库tag v3、SHA256固定;llama.cpp版本锁定,8k上下文、温度0、端口8080;20条回归全部通过且峰值<70%;新文件先影子跑,切换后保留旧版7天。

评分标准

  • 模型与运行时身份可复现
  • 验证同时覆盖质量和资源
  • 升级失败能快速回退

本课收口 · 学习证据

完成,不等于随手打一个勾。

确认阅读、保存练习,再用 30 秒检查和一句话总结留下真实学习证据。

0 / 3
02完成本课练习0 / 4 项必填内容已填写
03通过理解检查约 30 秒
本地模型运行手册为什么要记录生成参数?
你现在更接近哪一种状态?
完成上面三项后,才能把本课记为已验证。

资料来源

继续核对与延伸阅读

本课内容最近更新于