-
LLM 上下文管理完全指南:从一次"聊到一半 AI 突然失忆又报错"看懂 token 与对话历史
2024 年我做一个基于大模型的多轮客服机器人,第一版很简单:维护一个 messages 列表,用户和模型每说一句就 append 进去,整个列表发给模型。短对话表现完美,可一旦聊久,问题接连冒出:同一个问题对话开头两秒答完、几十轮后要等十几秒;单次请求 token 消耗一路飙升;聊到很长时 AI 开始失忆,前面交代过的信息又来问一遍;最后某轮直接抛出 context_length_exceede…- 2
- 0
对话历史
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×