-
LLM 推理服务部署与 GPU 调度完全指南:从一次"vLLM 单卡 A100 跑 Qwen2-72B 5000 用户同时上线 KV Cache 爆显存全站 OOM"看懂为什么 pip install vllm 远远不够
2024 年我们给一家 AI 教育公司做 LLM 推理服务模型是 Qwen2-72B 加 Llama3-70B 业务高峰 5000 并发用户在线问答第一版直接 vLLM 单卡跑 A100-80G 性能测试老板说 AI 真快上线第一天就被现实暴打第一种最让我傻眼是 KV Cache 爆显存 4096 上下文加 32 batch 直接 OOM A100 80G 也不够第二种最难缠是 batch siz…- 0
- 0
GPU调度
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×