-
我把一大段资料和指令拼进 prompt 喂给大模型,内容少时一切正常,内容一多模型就开始不按我的要求做、像没看见我的指令一样,排查半天才发现 prompt 超了 token 上限、被默默截断、我放在末尾的关键指令根本没送进去的深度复盘
我做了个基于大模型的功能:把一段资料和处理指令拼成 prompt 喂给模型,习惯把指令放在末尾觉得模型最后看到印象最深。资料少时模型乖乖照做,可资料一多模型就不听话——我要 JSON 它输出大段自然语言,我要只总结要点它长篇发挥,像压根没看见指令。我以为是模型能力不行、指令不清楚,改措辞都没用。直到把拼好 prompt 的 token 数和模型上下文窗口上限一对比才恍然:资料一多 prompt 超…- 0
- 0
-
我给大模型加了几个示例教它怎么抽取信息,本想让它更准,结果它从我那几个雷同的示例里学歪了规律、遇到没覆盖的情况就生搬硬套、甚至把示例里的具体值照抄了出来的深度复盘
我做了个用 LLM 从文本抽取信息的功能,为了更准、格式更规范,加了几个 few-shot 示例。加了示例后格式确实更规整了,可准确率出怪事:遇到和示例类似的输入答得好,遇到示例没覆盖的情况不仅答错还错得很一致——生搬硬套示例的模式;更离谱的是有几次直接把示例里的具体值照抄了出来(示例里某字段填的是张三,它对一个完全不同的输入也输出张三)。复盘才想明白:few-shot 的本质是用例子教模型,模型…- 0
- 0
-
改 prompt 修一个弄坏十个:LLM 应用评测避坑
我们有个 LLM 驱动的智能助手核心逻辑全靠一段精心打磨的 prompt。某天有用户反馈某类问法助手答得不对,我一看确实是 bug,熟练地打开 prompt 加了几句话调了几个措辞把这个 case 修好了,本地试了完美便上线,满以为只是一次修一个 bug 的常规操作。可没过两天反馈像雪片飞来:好几个原本一直好好的功能突然开始出错——我修好了一个 case 却在不知不觉中弄坏了十个。复盘后背发凉:我…- 0
- 0
-
让大模型返回 JSON 却偶发崩溃:LLM 结构化输出避坑
我们有个功能用大模型把用户的自然语言描述抽取成结构化 JSON,后端再拿它去走下单流程,开发时测了几十条模型乖乖吐 JSON、解析入库一气呵成。可上线后监控里开始零星冒出 Unexpected token in JSON,每一次报错都意味着一个用户请求在最后一步崩掉。把失败的原始响应捞出来一看哭笑不得:模型大部分时候返回纯 JSON,可总有些时候自作主张加料——有时把 JSON 裹在 markdo…- 0
- 0
-
提示词工程完全指南:从一次"AI 抽取功能上线即崩、模型一会儿返回散文一会儿瞎编"看懂 Prompt 工程
2023 年我做一个 AI 功能从用户的商品评论里自动抽取出结构化信息商品名评分和问题点。第一版我做得很省事提示词就写了一句话请从下面的评论里提取出商品名评分和问题点后面拼上评论原文丢给大模型。本地拿几条评论一测效果惊艳模型工工整整地把信息列了出来我顺手 json.loads 一解析完美。可等它真正上线面对五花八门的真实评论事故一个接一个。模型没返回 JSON 而是回了一大段散文我的 json.l…- 0
- 0
Prompt
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×