-
我以为给大模型喂的资料越多回答越准,就把检索到的几十篇文档全塞进了 prompt,结果它要么报超长、要么在海量内容里抓错了重点:一次 RAG 上下文塞太多的深度复盘
我做了个基于检索增强(RAG)的问答,朴素地觉得喂的资料越多越全模型回答越准,就把检索到的几十篇文档(top-50)全塞进了 prompt。结果出了两类问题:有时直接报超长或被默默截断、把后面的用户问题和指令都截掉了,答非所问;即使没超限,模型也在那么一大堆文档里迷失、抓错重点、被无关内容干扰。查清才明白资料越多越好的直觉是错的:模型上下文窗口有限超了就截断,且上下文多不等于好——大量无关内容会稀…- 0
- 0
lost in the middle
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×