-
大模型长文本处理完全指南:从一次"文档一长就报上下文超限、硬截断丢了关键信息"看懂 Map-Reduce 与 Refine
2024 年我做一个文档分析功能要对用户上传的长文档合同报告论文做摘要和问答。第一版我做得很省事把文档塞进 prompt 太长就截断到模型上下文吃得下的长度。本地测了几篇真不错我手头那几份文档都不算长摘要质量也挺好。我心里很踏实长文档嘛截断到模型吃得下塞进去让它自己消化不就行了。可等这个功能真正上线跑起真实的文档流量一串问题冒了出来。第一种最先把我打懵一个用户上传了一份几十页的报告我截断到 8K …- 0
- 0
Map-Reduce
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×