-
企业知识库 RAG 系统 embedding 模型从 ada-002 升级到 3-large 后召回率从 87% 暴跌到 12% 的 4 天复盘:维度变化 + 阈值硬编码 + 向量库新旧混用三重叠加 + 11 条 RAG 工程纪律
一个用了 18 个月的企业知识库 RAG 系统,运维悄悄把 embedding 从 ada-002 升级到 text-embedding-3-large,线上召回率从 87% 暴跌到 12%,3 小时 1200 工单。4 天复盘找到三重根因:1536到3072 维 Pinecone 客户端静默截断、0.78 相似度阈值对 3-large 过严、向量库未重建新旧混用。修复路径全量重建 + 阈值校准 …- 25
- 0
-
OpenAI Assistants API function calling 工具数从 11 涨到 47 后准确率从 91% 跌到 58% 的 3 周治理:描述规范 + 分组路由 + 语义检索动态子集三层架构 + 12 条工具集治理纪律
我们一个企业内部 AI 助手在工具数 6 个月内从 11 个扩张到 47 个后,function calling 准确率断崖式下降到 58%。3 周治理通过统一描述规范 + 业务分组路由 + 语义检索动态子集三层架构,把准确率回到 93%,月度成本从 9800 降到 5100 美元,沉淀出大型工具集 Agent 架构 SOP。- 2
- 0
-
LLM 工单分类 JSON 输出可靠性从 95% 到 99.97% 的 5 天工程化复盘:JSON mode + Structured Outputs + tool calling + retry + 双供应商熔断五层防御
一个每天调用 28 万次的 GPT-4o-mini 工单分类服务,5% JSON 解析失败导致下游 12% 工单流程半残。用 JSON mode + Structured Outputs + tool calling + retry + fallback + 双供应商熔断五层组合拳,5 天把可靠性从 95% 提到 99.97%,失败次数从 1.4 万/天降到 85/天。复盘 4 种主流方法的可靠性…- 0
- 0
-
客服RAG系统从demo到生产的6周复盘:召回率38%到89%的真实路径+别再迷信chunksize+被否决的方案比被采纳的更值钱
接手一个 demo 跑通但生产 38% 准确率的 RAG 系统,6 周把 Recall@5 从 51% 顶到 89%、Answer Hit 顶到 81% 的完整路径。Multi-Query 改写贡献最大、Reranker 反直觉地在 Answer Hit 上比 Recall 提升更多、chunk size 实测只是次要变量。否决的方案(BM25 hybrid、HyDE、换大 embedding)和…- 4
- 0
-
LangGraph 客服 agent 死循环一夜烧 OpenAI 3000 美金:tool-call 失控复盘 + 4 层熔断设计
LangGraph 客服 agent 上线两周后某夜账单 200(平时 0)。某 VIP 用户对话触发 search_kb 死循环,12 小时调 OpenAI 4.7 万次。根因:recursion_limit bug + LLM 工具偏好。完整复盘 + 四层熔断 + cost guard 设计。- 5
- 0
-
GPT-4 客服助手从 12 秒到 1.2 秒的两周优化:流式 + 批量 + 语义缓存 + 混合模型实战
GPT-4 客服 AI 上线第一周,平均响应 12 秒,客服使用率不到 10%。两周内做了四轮优化:流式响应改造把感知速度降到 1 秒、批量并发并行处理工单、语义缓存让 40% 重复问题秒回、混合模型让简单问题走 GPT-3.5。最终感知响应时间从 12 秒压到 1.2 秒,使用率从 10% 涨到 65%,成本反降 66%。- 2
- 0
-
LLM API 集成工程化完全指南:从一次"客服 AI 一个月烧 18 万美元 净亏 6 万"看懂为什么调 OpenAI API 远远不够
2024 年我们公司做了一个客服 AI 把 OpenAI 的 GPT-4 集成进客服后台客户咨询自动回复一线客服只处理 AI 无法解决的复杂案例从原型 demo 看一切完美但真正上线后我们陆续踩了一堆坑第一种最让我傻眼第一天上线峰值 1000 QPS 我们直接被 OpenAI 限流 429 错误满天飞一半客户咨询响应失败后端日志里全是 RateLimitError 第二种最难缠同一个 model …- 0
- 0
-
LLM 应用开发工程化完全指南:从一次"50 页合同审查 token 爆掉单次 8 美元"看懂为什么调个 OpenAI API 远远不够
2024 年我们公司做了一个法律领域的 LLM 助手给律师做合同审查起初用的是直接调 GPT-4 把整份合同丢进去问后来发现这种粗暴用法有一堆坑第一种最让我傻眼合同 50 页 token 加起来 8 万 GPT-4 上下文塞不下直接报错客户合同审不了第二种最难缠同一份合同我们问了三个律师都关心的问题 prompt 都很长每次都得重发完整合同单次 API 调用花了 80 美分一个合同审下来要 8 美…- 0
- 0
-
Function Calling 完全指南:从一次"AI 调用了一个根本不存在的接口"看懂工具调用
2024 年我给客服系统接入 AI 助手,用大模型的 Function Calling 让它能查订单、查物流、算运费。Demo 惊艳,推广后诡异问题接连冒出:模型给的参数类型是错的导致函数崩溃、模型信誓旦旦要调一个我压根没写过的函数(它自己幻觉出来的)、模型反复调用工具陷入死循环白烧 token、模型拿一个根本不属于当前用户的订单号去查了数据。盯着日志我才想明白:我对 Function Calli…- 2
- 0
OpenAI
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×