本章进度 16 / 19
84%
正文已完成
L054多模态不是把图片变成一段猜测
理解文本、图像等输入如何被编码并共同参与生成，同时识别分辨率与对齐限制。
先用本课建立“多模态输入”的基本直觉，后面的判断和练习才不会只靠记结论。
建议按完整课程顺序先看上一课；如果术语陌生，可以随时回补。
- 无需安装新工具
- 直接阅读并完成本页理解检查
多模态模型可以同时处理文字和图像，但它并不是像人一样直接凝视原图。输入要经过切分、编码和对齐，细小文字、空间关系与来源语境都可能在过程中损失。
能用一张简单流程图解释多模态输入如何进入模型，并指出原始信息在哪些环节可能丢失。
核心概念
先把关键判断说清楚
每种模态先被编码
文字被拆成 Token，图像通常被转换为视觉片段或特征；模型处理的是这些表示，而不是原文件本身。
跨模态对齐
模型学习文字描述与视觉特征之间的关联，因此可以围绕图片回答，但关联不等于精确测量。
输入质量决定可见细节
压缩、缩放、裁剪、遮挡和低对比度都会影响可用信息，尤其是小字、图例和边缘区域。
证据需要可定位
高风险结论应指向具体区域、原始文字或结构化数据，不能只接受一句整体描述。
案例拆解
图表截图里的轴单位被看错
分析助手读取一张缩小后的业绩图，正确识别趋势，却把纵轴“万元”说成“元”，使结论放大一万倍。
- 01
保留原图并单独裁出坐标轴与图例
- 02
同时提供生成图表的结构化数据表
- 03
要求输出为每个数字标注来源单元格或图像区域
案例结果
视觉输入负责理解布局，结构化数据负责精确计算，关键结论可以回到证据。
提交前练习
现在轮到你
选择一张包含文字与数据的图片，画出它进入多模态模型前后的信息变化。
选做练习：本节练习可用于加速你巩固，但不影响继续学习。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
输入为完整柱状图、轴标题裁剪和原始CSV；缩小可能丢失单位与图例颜色；结论标注图中区域及CSV列名；趋势可由图理解，精确金额必须以CSV计算并人工抽查。
评分标准
- 说明至少一种编码或质量损失
- 结论能定位到具体证据
- 精确任务使用独立核验
本课收口 · 理解检查
用 30 秒确认你理解了
用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile↗standard · 核对日期 2026-08-23
- Attention Is All You Need↗paper · 核对日期 2026-08-23