AIAI学习站
继续学习
本章进度 18 / 19
95%
大模型怎样工作·练习·18 分钟
正文已完成

把图片、文字和数据组装成任务包

把图片区域、配套文字、结构化字段和验收标准组合成可复现的多模态请求。

L056
为什么现在学

现在把“多模态输入”用于一次具体操作，检查你能否独立做出并修正结果。

本课会用什么
  • 按本课练习说明准备真实材料
  • 保留练习与复盘记录

多模态请求不能只写“看图回答”。模型需要知道每个输入承担什么角色、结论如何引用证据，以及看不清或互相矛盾时应怎样停止。

这一课的结果

能交付一份包含输入角色、区域锚点、输出契约和失败处理的多模态任务包。

核心概念

先把关键判断说清楚

01

输入角色显式化

说明图片用于外观、手册用于规则、传感器数据用于数值判断，避免模型混用证据。

02

区域与对象编号

给图片、裁剪和设备部件稳定编号，使输出能引用具体位置并支持复核。

03

先观察后判断

先提取可见事实，再结合文字规则做判断，减少把推断伪装成观察。

04

失败输出也是契约

模糊、遮挡、缺页或模态冲突时，要返回缺失项和补充要求，不得强行给结论。

05

用扰动样本验收

通过模糊、旋转、裁剪和错误配套文字测试系统是否识别边界。

案例拆解

设备照片与维修记录互相矛盾

巡检照片显示阀门标签为 V-17，维修记录却写 V-71。模型直接合并两者并宣告同一设备已检修。

  1. 01

    为全景图、标签裁剪和维修记录分别编号

  2. 02

    先输出可见标签，再列文字记录中的编号

  3. 03

    编号冲突时禁止下结论，要求现场人员确认设备身份

案例结果

模型把冲突作为结果返回，而不是生成一个看似完整但不可追溯的判断。

提交前练习

现在轮到你

为一次设备外观巡检组装多模态任务包。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

I1为设备全景、I2为铭牌裁剪、D1为温度读数、M1为维修手册；先按区域记录裂纹、渗漏和标签，再按M1规则分级；任一关键区域模糊或编号冲突时返回待确认，不生成通过结论；验收含清晰、旋转、遮挡和错配记录。

评分标准

  • 输入有稳定编号与职责
  • 观察和判断分开
  • 失败契约覆盖模糊与跨模态冲突

本课收口 · 学习证据

留下完整学习证据

读完内容、完成练习、通过理解检查并留下 12 字以上总结，才记为已验证。

0 / 4
02完成本课必填练习0 / 5 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04写下 12 字以上总结还差 12 字
图片标签与文字记录中的设备编号冲突时，模型应怎样输出？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。