-
LLM 应用可观测性完全指南:从一次"用户说答得不对监控却全绿"看懂为什么传统监控管不了 LLM 应用
2024 年我接手了一个内部 AI 应用刚做完原型要往生产推进上线前我盯着监控发了愁这套东西在我本地测着挺顺到了线上我连它今天到底做对了什么做错了什么都说不清第一版我做得很顺手所有的可观测我直接照搬了传统后端那一套接口耗时 QPS 错误率 CPU 内存全部打到 Prometheus 心里很笃定 LLM 应用嘛跟普通服务一样监控接口和资源就行可等真上线一串问题冒了出来第一种最先把我打懵某天用户反馈 …- 0
- 0
成本归因
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×