本章进度 7 / 19
37%
正文已完成
L007模型怎样一步步接出一句话
用下一词预测的直觉理解生成过程，以及上下文为何会改变回答。
先用本课建立“模型如何接话”的基本直觉，后面的判断和练习才不会只靠记结论。
建议按完整课程顺序先看上一课；如果术语陌生，可以随时回补。
- 无需安装新工具
- 直接阅读并完成本页理解检查
语言模型生成一句话时，会把当前上下文表示成可计算的信息，再为下一个 Token 分配概率，选出一个后继续重复。完整回答是许多次局部选择积累的结果。
能用非数学语言解释 Token、上下文和逐步生成之间的关系。
核心概念
先把关键判断说清楚
文本先被切成 Token
模型处理的是词、子词或符号片段。Token 数量会影响上下文长度、成本和截断位置。
每一步读取已有上下文
注意力机制让当前位置参考此前相关信息，因此补充对象、规则和示例会改变后续概率。
回答是逐步生成的
模型不会先在内部写好整篇再显示；早期选择会影响后文，偶然偏差也可能沿着上下文延续。
案例拆解
同一句开头的三种续写
输入“请把这条消息写得清楚”，分别补上客服、项目周报和朋友聊天的上下文。
- 01
客服上下文加入政策和用户诉求，输出倾向解释与解决步骤。
- 02
周报上下文加入管理对象和事实，输出倾向进展、风险和行动。
- 03
朋友聊天只给语气与关系，输出会更口语化。
案例结果
模型没有找到一条固定的“清楚写法”，而是根据上下文改变了后续选择。
提交前练习
现在轮到你
设计一组只改变上下文的对比实验。
选做练习：本节练习可用于加速你巩固，但不影响继续学习。
内容会自动保存在当前设备
查看参考答案与评分标准
参考答案
共同任务，解释缓存；A，给非技术产品经理，用生活类比；B，给后端工程师，说明命中与失效；预期，概念相同，术语深度与例子不同。
评分标准
- 共同任务保持一致
- 两组只改变可说明的上下文
- 预期差异与改变项有因果关系
本课收口 · 理解检查
用 30 秒确认你理解了
用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。
资料来源
继续核对与延伸阅读
本课内容最近更新于 。
- Attention Is All You Need↗paper · 核对日期 2026-08-23