-
我让大模型生成 JSON,它经常生成到一半就断了、JSON 解析失败,内容长的时候尤其频繁,我对着 max_tokens 排查了大半天的复盘
做了个用大模型生成结构化数据的功能:让模型按要求输出 JSON,程序再解析。大部分时候没问题,可一旦要生成的内容比较长(字段多数组长)就频繁出问题:模型返回的 JSON 生成到一半就断了(停在半句话上),程序解析残缺 JSON 直接报错。困惑模型不是挺聪明吗连完整 JSON 都生成不完是不是模型不行?换更强模型调 prompt 内容短时好了长了还断。排查大半天才发现罪魁是随手设的参数 max_to…- 0
- 0
-
AI 报告总是说一半:大模型输出被截断避坑复盘
我们做了个让 AI 生成长篇分析报告的功能,上线后用户陆续反馈一个诡异现象:报告经常生成到一半就戛然而止,有时是一段话说到中间突然断掉,有时更糟——本该返回一段结构化 JSON 给前端渲染,结果吐出来的是一个写到一半、括号都没闭合的残缺串,前端解析直接报错白屏。我盯着日志查了大半天,模型没报错、网络也正常,内容就是莫名其妙地"说一半"。直到我把返回结构翻了个底朝天,才在一个一直…- 8
- 0
-
大模型输出截断完全指南:从一次"模型返回的 JSON 莫名其妙少了半截"看懂 max_tokens 与 finish_reason
2023 年我做一个 AI 内容生成服务用户给一个主题系统调大模型生成一段结构化的结果一段 JSON 里面有标题摘要正文调用大模型时 max_tokens 这个参数我压根没多想第一版我做得很省事设个 max_tokens 不就是给模型的输出定个长度上限免得它太啰嗦太费钱我随手填了个 max_tokens 等于 500 调用拿到 content 解析出来就完事了本地开发时真不错我测几个短主题模型生成…- 2
- 0
max_tokens
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×