AIAI学习站
继续学习
本章进度 2 / 19
11%
大模型怎样工作·判断·13 分钟
正文已完成

看懂分词差异会怎样改变任务

比较自然语言、代码、表格与特殊字符的切分差异，判断何处会浪费窗口或破坏边界。

L040
为什么现在学

把“Token 与分词”从听懂变成会判断，避免遇到真实任务时仍靠感觉选择。

本课会用什么
  • 无需安装新工具
  • 准备一个可对照的真实问题或样本

同样可见长度的文本可能消耗完全不同的 Token。格式噪声、重复表头和长标识符尤其容易吞掉预算。

这一课的结果

能识别高 Token 密度内容并提出不改变语义的压缩方式。

核心概念

先把关键判断说清楚

01

稀有片段更易细分

冷门术语、随机ID和拼写异常往往拆成更多子词，消耗比常见表达高。

02

结构字符也占序列

缩进、标点、Markdown 与序列化字段会占用上下文，重复结构会持续累积。

03

压缩不能破坏证据

删冗余列和重复字段可以省 Token，但关键原文、单位与定位信息不能随意丢弃。

案例拆解

重复 JSON 字段挤掉了客服原文

每条工单都重复几十个空字段和长键名，批量分析时投诉文本会因上下文超限被截断。

  1. 01

    统计结构字段与正文各占多少Token

  2. 02

    移除始终为空且任务不用的字段

  3. 03

    把稳定键名映射放在一次性说明中

案例结果

同一窗口容纳更多有效投诉，同时仍保留工单ID和证据原文。

提交前练习

现在轮到你

审查一段用于模型分析的 JSON，找出三类 Token 浪费。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

删除全为空的地址字段，批次级说明一次共享schema，长内部键在受控映射中缩短；保留工单ID、投诉原文和时间单位。

评分标准

  • 浪费点具体
  • 压缩不改变字段语义
  • 保留可追溯证据

本课收口 · 应用检查

完成一次应用，再检查理解

完成一次必填练习，再通过理解检查；阅读标记和总结不设硬门槛。

0 / 2
02完成本课必填练习0 / 3 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
压缩批量 JSON 输入时优先处理什么？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。