AIAI学习站
继续学习
本章进度 1 / 19
5%
大模型怎样工作·理解·10 分钟
正文已完成

Token 不是字，也不是固定长度的词

用模型处理的离散片段理解文本如何进入大模型，避免把字符数直接当作计算量。

L039
为什么现在学

先用本课建立“Token 与分词”的基本直觉，后面的判断和练习才不会只靠记结论。

本课会用什么
  • 无需安装新工具
  • 直接阅读并完成本页理解检查

分词器先把原始句子映射成 Token 序列，模型再处理这串编号。Token 可能是一字、词的一部分、标点或空格组合。

这一课的结果

能用自己的话解释 Token，并指出同一句话在不同分词器中可能得到不同数量。

核心概念

先把关键判断说清楚

01

分词器先于模型

文本先被切分并映射为编号，模型对编号序列进行计算，再把输出编号解码成文本。

02

边界由词表决定

常见片段可能合成一个 Token，少见词、代码或混合语言往往被拆得更细。

03

Token 影响成本与窗口

输入和输出 Token 都占用上下文预算，也通常影响推理时间与计费口径。

案例拆解

按汉字数估算上下文失败

团队用中文字符数估算模型窗口，却混入英文代码、URL 和表格，实际 Token 数远高于预期。

  1. 01

    用目标模型对应分词器实测

  2. 02

    分别记录中文、代码和URL的Token密度

  3. 03

    为系统指令与输出预留固定预算

案例结果

请求不再因错误的字符换算频繁超出窗口。

提交前练习

现在轮到你

选一段中英混合文本，预测再实测它的 Token 构成。

选做练习：本节练习可用于加速你巩固，但不影响继续学习。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

样本含产品名、中文句子和URL；预测URL与少见英文词被细分；实测后记录Token数并说明不能用字符数固定换算。

评分标准

  • 文本包含两类内容
  • 区分预测与实测
  • 结论没有声称跨模型固定

本课收口 · 理解检查

用 30 秒确认你理解了

用 30 秒理解检查确认你抓住了重点；阅读标记、练习和总结都不设硬门槛。

0 / 1
02完成练习（选做）0 / 3 项已填写，不影响完成03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
为什么不能用固定的‘一个词等于一个 Token’估算所有请求？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。