-
我的 RAG 问答在单轮提问时召回又准又好可一进多轮对话就拉胯,用户问完一个问题再追问一句它呢或那这个怎么办、检索就召回一片空白或牛头不对马嘴的内容,排查很久才搞懂我直接拿用户那句带着指代和省略的原始追问去做向量检索而那句话脱离了对话历史根本就没承载足够的语义的深度复盘
我做了个基于 RAG 的多轮对话问答,单轮提问表现很好,可一进多轮、用户开始追问检索质量就断崖式下跌:用户先问 XX 产品的退款政策是什么召回很准答得好、接着追问那它的有效期呢检索却召回一片空白或一堆跟有效期八竿子打不着的内容;凡是用了它这个那上面说的这类指代或省略了主语(怎么申请)检索就抓瞎;我手动把追问补全成 XX 产品的退款有效期是多久再检索立刻又召回准;而如果不检索直接把对话历史一起喂给 …- 2
- 0
-
LLM 多轮对话上下文管理完全指南:从一次"AI 客服第 20 轮就报 context 超限"看懂为什么不是塞历史就完了
2024 年我给一个客服系统加了 AI 对话能力让用户先跟 AI 聊一轮简单问题答完后再转人工第一版我做得很顺手前端开个会话窗口后端把用户消息和历史消息全塞进 messages 数组调一次 chat.completions 把回复返回去就完事了我心里很笃定多轮对话嘛就是把历史消息一直往后拼让模型自己记住上下文不就行了可等真上线一串问题冒了出来第一种最先把我打懵会话开了二十轮以后回复明显变慢从 1 …- 3
- 0
-
LLM 多轮对话上下文管理完全指南:从一次"聊到十几轮突然崩"看懂为什么模型没有记忆
2024 年我做一个 AI 对话助手用户能和大模型一轮一轮地连续对话像聊天一样模型要记得前面聊过什么第一版我做得很顺手我维护一个 messages 列表用户每说一句就 append 进去模型每答一句也 append 进去每一轮调用模型时就把这个列表里的全部历史原样发过去本地我聊了五六轮测了测模型确实记得前面的内容答得很连贯我心里很笃定多轮对话嘛无非就是把之前所有的对话历史每轮都带上模型看到完整历史…- 7
- 0
-
LLM 上下文窗口管理完全指南:从一次"对话变长后机器人开始胡说八道"看懂 token 预算与多轮记忆
2024 年我做一个客服对话机器人用户和机器人多轮对话怎么让模型记得前面聊过的事这件事我没多想就有了方案把历史对话也一起发过去第一版我做得很顺手每来一条新消息就把之前的所有对话历史连同新消息一起拼成一个长长的 prompt 发给模型本地测试聊上五六轮前言后语接得严丝合缝我心里很笃定我把全部历史都给它了它当然什么都记得可等这个机器人真正上线面对会聊得很长的真实用户一串问题冒了出来第一种最先把我打懵对…- 0
- 0
-
大模型上下文窗口完全指南:从一次"AI 聊着聊着就失忆"看懂 token 与上下文管理
2024 年我做一个多轮对话客服 AI,短对话一切正常,可只要用户聊久一点——来回二三十轮——AI 就开始"失忆":用户第一句报过订单号,聊到后面又来问"请问您的订单号是多少";更糟时直接 API 报错 context_length_exceeded 整个对话崩掉。我以为是模型记性差,换了上下文窗口更大的模型,清净几天又犯。盯日志才反应过来:我每轮请求都是把…- 0
- 0
多轮对话
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×