-
一个直接把大模型返回当 JSON 来解析的接口,在线上偶发地解析崩溃——因为模型有时会贴心地多说几句话:一次 LLM 结构化输出的深度复盘
让大模型把文本抽取成 JSON,后端拿到回复直接 json.loads 入库,测试几十条都好好的,一上线就偶发 JSONDecodeError。打出原始返回一看:模型有时裹一层 markdown 代码围栏、有时前面加一句'好的这是结果'、有时多个尾逗号或写成中文引号。根因是 LLM 本质是概率性生成文本、不保证返回严格合法 JSON,却被当成确定可靠的接口直接解析。本文讲透 L…- 2
- 0
-
我让大模型返回 JSON,平时一直解析得好好的,直到某次它在 JSON 外面裹了一段解释文字,我的 JSON.parse 当场崩了、整个功能瘫痪的深度复盘
我在 Prompt 里要求大模型以 JSON 返回结果,拿到回复直接 JSON.parse,测了几十次都正常就上线了。可上线后功能时不时崩:某次模型没只返回纯 JSON,而是裹了客套话、套了 ```json 代码块、还跟了句结尾,我的 parse 当场崩溃。我以为明确要求了它就一定听话,深究才懂:LLM 是概率性生成自由文本,Prompt 里"要求返回 JSON"只是引导不是保…- 0
- 0
-
让大模型返回JSON给程序处理,开发全过上线却偶发解析失败,捞出原始返回一看JSON五花八门包代码块加客气话:大模型结构化输出避坑复盘
我们做了个功能让大模型把一段非结构化的文本提取成结构化的 JSON 再交给后端程序去处理,开发时测了十几条效果完美 JSON 解析得妥妥的就高高兴兴上线了。可上线没多久后端的告警就开始零星地响——JSONDecodeError 解析失败。我很纳闷:同样的代码同样的调用为什么有的能解析有的就报错?我把那些解析失败的大模型实际返回的原始内容捞出来一看真是哭笑不得,大模型返回的 JSON 五花八门:有的…- 0
- 0
-
让大模型返回 JSON 却偶发崩溃:LLM 结构化输出避坑
我们有个功能用大模型把用户的自然语言描述抽取成结构化 JSON,后端再拿它去走下单流程,开发时测了几十条模型乖乖吐 JSON、解析入库一气呵成。可上线后监控里开始零星冒出 Unexpected token in JSON,每一次报错都意味着一个用户请求在最后一步崩掉。把失败的原始响应捞出来一看哭笑不得:模型大部分时候返回纯 JSON,可总有些时候自作主张加料——有时把 JSON 裹在 markdo…- 0
- 0
-
LLM 工单分类 JSON 输出可靠性从 95% 到 99.97% 的 5 天工程化复盘:JSON mode + Structured Outputs + tool calling + retry + 双供应商熔断五层防御
一个每天调用 28 万次的 GPT-4o-mini 工单分类服务,5% JSON 解析失败导致下游 12% 工单流程半残。用 JSON mode + Structured Outputs + tool calling + retry + fallback + 双供应商熔断五层组合拳,5 天把可靠性从 95% 提到 99.97%,失败次数从 1.4 万/天降到 85/天。复盘 4 种主流方法的可靠性…- 0
- 0
-
大模型结构化输出完全指南:从一次"我让模型返回 JSON、它却回了一段夹着解释的 Markdown"看懂可靠解析
2024 年我做一个功能让大模型从一段用户输入的文本里提取出结构化信息姓名金额日期之类再交给后面的程序去用。第一版我做得很省事在 prompt 里写一句请以 JSON 格式返回拿到模型的回复直接 json.loads。本地测了几条真不错模型乖乖回了 JSON 我也顺利解析出来了。我心里很踏实结构化输出嘛不就是在 prompt 里说一句返回 JSON 然后 json.loads 一下。可等它真正上线…- 0
- 0
-
大模型结构化输出完全指南:从一次"让模型返回 JSON、结果 json.loads 直接崩了"看懂结构化输出
2023 年我做一个简历解析功能,把简历纯文本丢给大模型让它抽取姓名、电话、最高学历、工作年限、技能列表,抽完之后后端代码要拿这些字段存进数据库。第一版我做得很直接:在 prompt 里写一句请以 JSON 格式返回结果,把字段名列清楚,然后把模型返回的内容直接 json.loads 解析成字典。本地拿几份简历一测居然真的成了。可一上量问题就接二连三冒出来:有的时候模型返回的不是纯 JSON,它会…- 0
- 0
-
用大模型抽 JSON 测试全过上线偶崩:一次 LLM 结构化输出不可靠的复盘
一个功能用大模型把用户自然语言日程解析成结构化 JSON 再建日历,开发机测几十句模型每次都吐回干净 JSON 完美,一上线就偶发 json.decoder.JSONDecodeError 功能崩,代码没改模型没换就是时不时崩一次。排查梳理:别盯 JSONDecodeError 堆栈它只说第几列非法,在 json.loads 之前把模型返回的原始文本完整记进日志,攒一批失败样本发现坏输出就那么几种…- 0
- 0
结构化输出
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×