-
LLM 调用超时治理完全指南:从一次"一个慢请求挂住、整个服务被拖垮"看懂连接、总超时与取消传播
2024 年我做一个 LLM 应用后端要调用大模型 API 完成问答总结这些活。调用大模型这件事我压根没多想。第一版我做得很省事调用大模型不就跟调用一个普通函数一样把 prompt 发出去等它返回结果拿到就用。本地开发时真不错我点一下请求发出去大模型两三秒就把答案吐回来了顺畅得很。我心里很踏实调 LLM 嘛不就是发个请求等它返回。可等这个应用真正上线被一群真实用户并发地用起来一串问题冒了出来。第一…- 0
- 0
-
微服务 P99 8s 雪崩复盘:全链路超时预算 + 传递 + 重试治理
电商主链路 P99 8s 雪崩复盘:每个服务 3s 超时 + 2 次重试,5 跳叠加成 30s 黑洞。两周治理:gRPC context.WithTimeout 传递 + Spring X-Deadline header + 剩余预算分配 + 重试不突破总 deadline + 熔断降级配合。P99 8s→800ms,DeadlineExceeded < 0.1%。- 0
- 0
超时治理
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×