-
自研 LLM 推理平台 KV cache 显存雪崩 P99 飙 47 秒 + GPU OOM 18 次 9 天复盘:PagedAttention v2 + chunked prefill + FP8 量化 KV + PriorityScheduler + swap_space 64GB + 投机解码 + TokenQuotaLimiter 6 套修法 + 12 条 LLM 推理工程纪律
2026 年 4 月,我们一组生产环境的 LLM 推理服务(自研 Claude Sonnet 4.6 + Llama 3.3 70B 双模型 + vLLM 0.6 + Triton 25.03 + 64 张 H100,日均推理请求 4200 万、企业 RAG 文档问答场景、上下文- 0
- 0
-
LLM 长上下文与 KV Cache 工程化完全指南:从一次"GPT-4-128k 单次调用烧掉 1 美元"看懂为什么 128k 窗口不等于真能处理 128k 文本
2024 年我在一家做企业知识库的公司里负责长文档问答系统接到的需求很直接客户的合同财报研报动辄上百页他们希望用户上传后直接问模型这份合同的违约条款是什么这份财报里研发费用同比增长多少听起来就是把文档塞进 LLM 让它回答嘛我第一版直接用 GPT-4-128k 把文档拼进 prompt 测了几个 case 效果还行老板看了挺满意可一上线一连串问题就来了第一种最先把我打懵某个客户上传了一份 300 …- 7
- 0
-
大模型推理服务并发完全指南:从一次"十个用户同时提问,GPU 直接 OOM 崩溃"看懂 KV Cache 与显存调度
2023 年我给团队部署一个自己的大模型推理服务拿一个开源大模型包成一个内部 HTTP 接口别人发 prompt 过来我返回生成结果怎么扛住很多人同时用这件事我压根没多想第一版我做得很顺手用 FastAPI 包一层收到请求就直接在 GPU 上调 generate 跑完把文本返回我心里很笃定并发嘛不就是 Web 服务的老问题多开几个 worker 加个线程池不就扛住了本地一个人测一测真不错可等这服务…- 0
- 0
KV Cache
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×