课程 347 / 365
95%
开源模型与本地部署·练习·18 分钟
正文已完成

交付一份本地部署选型决策

把工作负载、数据边界、质量、容量、成本、运营与退出路径收口成决策记录。

L347

最终选型不应只写“采用本地”。决策记录要保留候选、硬门槛、同口径测试、总成本、试点范围、成功指标和重评条件,让部署形态能随证据变化。

这一课的结果

能独立完成一份可复查、可试点、可回退的模型部署选型。

核心概念

先把关键判断说清楚

01

硬门槛先淘汰

数据不得出域、关键质量、离线与延迟等硬条件未满足时,不进入加权评分。

02

试点验证运营假设

性能测试之外,还要验证更新、监控、故障响应和真实使用率。

03

退出路径保护未来

保留模型、提示与数据的可迁移格式,避免部署方案成为无法改变的锁定。

案例拆解

内网知识助手的混合选型记录

内部敏感资料要求不出域,但复杂公开问题需要更高质量,团队在全本地与全云之间争论。

  1. 01

    硬门槛将敏感资料固定在内网,本地模型需通过50条引用准确测试。

  2. 02

    公开问题允许脱敏后路由云端,记录成本、延迟与失败默认。

  3. 03

    先对20人试点四周,监控质量、p95、人工复核量和运维工时,再决定扩大。

案例结果

混合方案以数据标签和试点指标落地,并保留全本地与云端切换条件。

提交前练习

现在轮到你

完成一页模型部署选型决策记录。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

任务是内部文档问答;硬门槛不出域、引用准确≥95%、并发10;比较本地14B与私有云;先50人试点30天;p95>8秒或维护>20小时/月重评,保留标准API层、评测集和可导出索引。

评分标准

  • 硬门槛与候选证据分开
  • 试点指标覆盖质量和运营
  • 退出路径具体可执行

本课收口 · 学习证据

完成,不等于随手打一个勾。

确认阅读、保存练习,再用 30 秒检查和一句话总结留下真实学习证据。

0 / 3
02完成本课练习0 / 4 项必填内容已填写
03通过理解检查约 30 秒
部署选型记录中,为什么要明确退出路径?
你现在更接近哪一种状态?
完成上面三项后,才能把本课记为已验证。

资料来源

继续核对与延伸阅读

本课内容最近更新于