-
我让大模型以流式方式返回一段 JSON,想着边收到边解析更快,结果每次拿到的都是残缺的半截 JSON 解析直接报错,而且流到一半模型出错时前面已经发给用户的内容根本收不回来的深度复盘
我做了个功能让大模型返回一段结构化 JSON,为了更快用了流式(streaming),模型一边生成一边把 token 一段段推给我,我想着边收到边解析更流畅,于是每收到一段就 JSON.parse 一下累积的内容。结果问题百出:大部分时候 JSON.parse 直接报 Unexpected end of JSON input,因为我拿到的是 {"name": "张 这…- 0
- 0
streaming
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×