-
大模型流式输出完全指南:从一次"用户问完干等十几秒才看到回答"看懂 SSE 流式响应
2023 年我做一个 AI 对话产品,用户输入问题,后端调大模型,把回答返回前端展示。第一版我的写法最直觉:后端收到问题,调模型接口,等模型把整段回答生成完,拿到完整文本一次性返回前端。本地测一两秒出结果挺好,可一上线问稍复杂的问题体验就糟糕得我自己都用不下去:用户点发送后屏幕什么都没有,一个空白转圈的加载状态持续十几秒,直到三四百字回答全部生成完才整段蹦出来,这十几秒里用户完全不知道发生了什么,…- 0
- 0
用户体验
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×