-
自研 LLM 推理平台 KV cache 显存雪崩 P99 飙 47 秒 + GPU OOM 18 次 9 天复盘:PagedAttention v2 + chunked prefill + FP8 量化 KV + PriorityScheduler + swap_space 64GB + 投机解码 + TokenQuotaLimiter 6 套修法 + 12 条 LLM 推理工程纪律
2026 年 4 月,我们一组生产环境的 LLM 推理服务(自研 Claude Sonnet 4.6 + Llama 3.3 70B 双模型 + vLLM 0.6 + Triton 25.03 + 64 张 H100,日均推理请求 4200 万、企业 RAG 文档问答场景、上下文- 0
- 0
推理
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×