AIAI学习站
继续学习
本章进度 8 / 18
44%
Prompt 工程·判断·13 分钟
正文已完成

好示例也可能把模型带偏

从标签失衡、答案泄漏和表面模仿三个角度审查 Few-shot 示例。

L103
为什么现在学

把“Few-shot 示例”从听懂变成会判断，避免遇到真实任务时仍靠感觉选择。

本课会用什么
  • 无需安装新工具
  • 准备一个可对照的真实问题或样本

示例越具体，影响越强。一个看似正确的示例集可能因为多数样本属于同一类、输入里藏着答案，或格式特征与标签绑定，让模型学到错误捷径。

这一课的结果

能发现示例集中的分布偏差、信息泄漏和错误捷径。

核心概念

先把关键判断说清楚

01

标签与难度平衡

示例不必统计均匀，但要覆盖真实任务中的主要类别和高风险边界。

02

防止答案泄漏

如果输入文件名、字段顺序或人工备注直接暴露标签，测试结果会虚高。

03

检查表面捷径

模型可能把特定词、长度或标点当作规则，应使用反例验证它是否理解判定依据。

案例拆解

退款示例让模型见“抱歉”就判服务问题

六个服务问题示例都包含客服说“抱歉”，而物流和商品问题示例没有这个词。

  1. 01

    添加含“抱歉”但根因是物流延误的反例。

  2. 02

    删除人工文件名中的 category_service 标签，防止答案泄漏。

  3. 03

    补充两条罕见但高损失的错误扣款案例。

案例结果

模型必须依据根因和证据分类，而不能把礼貌词当作服务问题标签。

提交前练习

现在轮到你

审查一个至少三条样例的 Few-shot 集。

完成本课需要：完成以下内容用于本课收口。

内容会自动保存在当前设备
查看参考答案与评分标准

参考答案

失衡，只有成功案例，没有拒绝案例；泄漏，示例标题含“高风险”；反例，标题含“高风险”但正文证据不足，正确输出应为待人工确认。

评分标准

  • 覆盖审查对应真实分布或风险
  • 泄漏线索具体可定位
  • 反例能打破原捷径

本课收口 · 应用检查

完成一次应用，再检查理解

完成一次必填练习，再通过理解检查；阅读标记和总结不设硬门槛。

0 / 2
02完成本课必填练习0 / 3 项必填内容已填写03通过理解检查点此去回答，约 30 秒
04补一句总结（可选）可以留空，不影响完成本课。
为什么所有示例答案都正确，模型仍可能学偏？
你现在更接近哪一种状态？
尚有必填项未完成，请补齐后再继续。

资料来源

继续核对与延伸阅读

本课内容最近更新于 。