-
我的 RAG 问答系统总在一些问题上答非所问,明明知识库里就有正确答案,它却引用了一堆看着相关、其实跑题的片段编出似是而非的答案,查了半天发现我只用向量相似度取了 top-k 就直接喂给大模型、压根没做重排序的深度复盘
我做了个 RAG 问答系统:把文档切片转向量存进向量库,提问时把问题也转向量,检索最相似的若干片段连同问题喂给大模型作答,demo 效果不错就上线了。可上线后系统总在某些问题上答非所问,明明知识库里就有标准答案,它却引用一堆看着沾边、实则跑题的片段编出似是而非的答案;我把正确答案文档翻出来核对,它确实在库里且高度相关,换更强的大模型也没用。折腾很久才把矛头指向我以为最不会出错的检索:打印实际召回的…- 0
- 0
-
我以为给大模型喂的资料越多回答越准,就把检索到的几十篇文档全塞进了 prompt,结果它要么报超长、要么在海量内容里抓错了重点:一次 RAG 上下文塞太多的深度复盘
我做了个基于检索增强(RAG)的问答,朴素地觉得喂的资料越多越全模型回答越准,就把检索到的几十篇文档(top-50)全塞进了 prompt。结果出了两类问题:有时直接报超长或被默默截断、把后面的用户问题和指令都截掉了,答非所问;即使没超限,模型也在那么一大堆文档里迷失、抓错重点、被无关内容干扰。查清才明白资料越多越好的直觉是错的:模型上下文窗口有限超了就截断,且上下文多不等于好——大量无关内容会稀…- 4
- 0
-
RAG 答非所问别急着换模型:检索优化避坑复盘
我们花一个多月做了一个基于 RAG 检索增强生成的企业知识库问答机器人,把公司几千篇内部文档喂进去让员工用自然语言提问、由大模型结合文档回答。Demo 阶段效果惊艳,可一上线给全公司用投诉就来了:它答非所问、它在一本正经地胡说、明明文档里写得清清楚楚的东西它却说找不到。我一开始的反应和很多人一样——是不是大模型不够聪明?于是换了更大的模型、反复打磨提示词,可效果只是略有改善,那种驴唇不对马嘴的回答…- 0
- 0
-
RAG 检索重排序完全指南:从一次"向量检索答案却总不对"看懂为什么 top-K 不能直接喂模型
2024 年我给一家公司做企业知识库的 RAG 问答把几千份内部文档喂进去让员工用大白话提问系统自动从文档里找答案第一版我做得很顺手把文档切成一段段的 chunk 每段算一个 embedding 存进向量库用户来一个问题把问题也算成 embedding 在向量库里检索出最接近的 5 段拼成上下文塞进 prompt 交给大模型回答本地我拿几个问题测了测答得像模像样我心里很笃定 RAG 嘛就是把问题和…- 2
- 0
-
RAG 检索重排序完全指南:从一次"知识库明明有答案、却死活检索不出来"看懂 Rerank
2024 年我做一个 RAG 知识库问答系统检索这一步第一版我做得很省事用户提问我把问题向量化去向量库里检索出最相似的 5 段直接塞给大模型作答。本地我拿几个问题测了测真不错问什么答案就在召回的那几段里。我心里很踏实RAG 的检索嘛向量库召回 top-k 这 k 段就是最相关的直接喂给模型不就行了。可等这个系统真正上线面对用户五花八门的真实提问一串问题冒了出来。第一种最先把我打懵某个问题知识库里明…- 3
- 0
重排序
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×