本章进度 15 / 18
83%
正文已完成
L344交付一条可复现的本地推理运行链
把模型身份、安装、启动、参数、质量检查、资源监控和回滚写成运行手册。
现在把“本地推理”用于一次具体操作，检查你能否独立做出并修正结果。
建议先完成同主题的理解与判断；本页不会锁课，可以边做边回补。
- 按本课练习说明准备真实材料
- 保留练习与复盘记录
本地模型演示能回答“这台机器此刻能跑”，运行手册则要回答模型从哪里来、文件是否一致、用什么后端与参数、怎样验证、更新失败如何回退。
能让另一位成员在目标设备复现同一模型结果与性能测量。
核心概念
先把关键判断说清楚
供应链身份必须记录
来源URL、许可证、版本、哈希和扫描结果让模型文件可追溯。
生成参数属于版本
上下文、温度、采样、线程和GPU卸载会改变输出与速度，应与模型一起记录。
升级先影子验证
新模型或新后端先跑固定样本和资源基准，通过后再替换，并保留旧文件与配置。
案例拆解
从一次命令到团队本地服务
开发者在个人终端运行成功，但同事下载了同名不同修订，输出与速度无法复现。
- 01
锁定模型下载地址、文件哈希、许可证和llama.cpp版本。
- 02
保存启动命令、上下文、线程、卸载层和健康测试提示。
- 03
新版本使用20条固定回归和峰值监控，失败即切回旧模型软链接。
案例结果
本地推理从个人演示变成可复现、可升级、可回退的团队运行链。
提交前练习
现在轮到你
为一个本地模型完成运行与升级手册。
完成本课需要：完成以下内容用于本课收口。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
模型来自官方仓库tag v3、SHA256固定；llama.cpp版本锁定，8k上下文、温度0、端口8080；20条回归全部通过且峰值<70%；新文件先影子跑，切换后保留旧版7天。
评分标准
- 模型与运行时身份可复现
- 验证同时覆盖质量和资源
- 升级失败能快速回退
本课收口 · 学习证据
留下完整学习证据
读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- llama.cpp↗official-docs · 核对日期 2026-08-23
- Pro Git↗reference · 核对日期 2026-08-23
- Evals↗official-docs · 核对日期 2026-08-23