课程 344 / 365
94%
正文已完成
L344交付一条可复现的本地推理运行链
把模型身份、安装、启动、参数、质量检查、资源监控和回滚写成运行手册。
本地模型演示能回答“这台机器此刻能跑”,运行手册则要回答模型从哪里来、文件是否一致、用什么后端与参数、怎样验证、更新失败如何回退。
能让另一位成员在目标设备复现同一模型结果与性能测量。
核心概念
先把关键判断说清楚
供应链身份必须记录
来源URL、许可证、版本、哈希和扫描结果让模型文件可追溯。
生成参数属于版本
上下文、温度、采样、线程和GPU卸载会改变输出与速度,应与模型一起记录。
升级先影子验证
新模型或新后端先跑固定样本和资源基准,通过后再替换,并保留旧文件与配置。
案例拆解
从一次命令到团队本地服务
开发者在个人终端运行成功,但同事下载了同名不同修订,输出与速度无法复现。
- 01
锁定模型下载地址、文件哈希、许可证和llama.cpp版本。
- 02
保存启动命令、上下文、线程、卸载层和健康测试提示。
- 03
新版本使用20条固定回归和峰值监控,失败即切回旧模型软链接。
案例结果
本地推理从个人演示变成可复现、可升级、可回退的团队运行链。
提交前练习
现在轮到你
为一个本地模型完成运行与升级手册。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
模型来自官方仓库tag v3、SHA256固定;llama.cpp版本锁定,8k上下文、温度0、端口8080;20条回归全部通过且峰值<70%;新文件先影子跑,切换后保留旧版7天。
评分标准
- 模型与运行时身份可复现
- 验证同时覆盖质量和资源
- 升级失败能快速回退
本课收口 · 学习证据
完成,不等于随手打一个勾。
确认阅读、保存练习,再用 30 秒检查和一句话总结留下真实学习证据。
02完成本课练习0 / 4 项必填内容已填写
03通过理解检查约 30 秒
你现在更接近哪一种状态?
完成上面三项后,才能把本课记为已验证。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- llama.cpp↗official-docs · 核对日期 2026-08-23
- Pro Git↗reference · 核对日期 2026-08-23
- Evals↗official-docs · 核对日期 2026-08-23