-
Prompt 工程化管理完全指南:从一次"改一句提示词、线上效果崩了还查不出是谁改的"看懂 Prompt 即资产
2024 年我做一个 LLM 应用要靠大模型完成总结分类这些活。提示词这件事我压根没多想。第一版我做得很省事提示词那不就是一段字符串直接写在调用模型的代码里要改就在代码里改。本地开发时真不错我想调一句提示词的措辞打开代码改掉那行字符串重跑一下立刻就能看到模型输出的变化顺手又快。我心里很踏实提示词嘛不就是一段写在代码里的字符串想改就改。可等这个应用真正上线提示词成了线上业务的一部分一串问题冒了出来。…- 2
- 0
-
大模型 API 重试与退避完全指南:从一次"上游抖一下、重试风暴把服务和上游一起打垮"看懂指数退避与抖动
2024 年我做一个接大模型 API 的服务要把用户的请求转发给上游的大模型。调用失败这件事我压根没多想。第一版我做得很省事调用失败了就重试套个循环失败就再调一次直到成功为止。本地开发时真不错本地网络稳上游也稳几乎不失败偶尔失败重试一次立刻就好了。我心里很踏实重试嘛不就是失败了再试一次多试几次总能成。可等这个服务真正上线扛起真实流量一串问题冒了出来。第一种最先把我打懵有一次上游大模型服务抖了几秒我…- 0
- 0
-
大模型长文本处理完全指南:从一次"文档一长就报上下文超限、硬截断丢了关键信息"看懂 Map-Reduce 与 Refine
2024 年我做一个文档分析功能要对用户上传的长文档合同报告论文做摘要和问答。第一版我做得很省事把文档塞进 prompt 太长就截断到模型上下文吃得下的长度。本地测了几篇真不错我手头那几份文档都不算长摘要质量也挺好。我心里很踏实长文档嘛截断到模型吃得下塞进去让它自己消化不就行了。可等这个功能真正上线跑起真实的文档流量一串问题冒了出来。第一种最先把我打懵一个用户上传了一份几十页的报告我截断到 8K …- 0
- 0
AI工程
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×