-
Pandas DataFrame 内存从 12GB 飙到 78GB OOMKilled 风控漏判 4 小时的 5 天复盘:object dtype + groupby 笛卡尔 + SettingWithCopy 三重叠加 + 11 条 Pandas 内存纪律
我们一个 4200 万行电商风控批处理任务,因加入商家维度 join,内存从 12GB 飙到 78GB,Worker 三次 OOMKilled,风控漏判 4 小时影响 17 万订单。5 天定位发现 object dtype + groupby 高 cardinality + SettingWithCopy 三重反模式叠加,治理后内存压到 4.2GB,沉淀完整 Pandas 内存治理 SOP 与 1…- 3
- 0
-
Redis 内存从 30G 暴涨到 90G:大 key 热 key 与过期策略治理实录
Redis 6 主 6 从,凌晨内存从 30GB 暴涨到 90GB,P99 从 1ms 飙到 80ms,触发淘汰业务大面积超时。两周治理:大 key 扫描拆分 + UNLINK 异步删 + 热 key 多级缓存 + 强制 TTL + listpack 编码 + LZ4 压缩 + activedefrag。内存稳定回落 28GB,P99 回到 1ms,取消扩容省 36w。- 0
- 0
-
K8s Pod 每天 20 次 OOMKilled 实录:JVM 堆外内存治理全链路
订单服务在 K8s 每天 OOMKilled 20+ 次,exit code 137,JVM 无 OOM 日志。投一周排查:JVM 没感知 cgroup limit + Direct Memory 失控 + 线程数 280 个 + Metaspace 涨 + cgroup v2 核算变化。最终参数 + NMT 定位 + 监控告警全套修法,30 天零重启,P99 800ms→80ms。- 0
- 0
-
pandas 内存从 8GB 压到 800MB:60 万行 CSV 处理的 7 步优化
600MB CSV 加载占 5.2GB,处理峰值 8GB。本文 7 步优化:usecols 选列、dtype 显式声明、category 类型、parse_dates、chunksize 流式、Parquet 替代 CSV、polars 替代 pandas。最终 800MB + 速度快 4 倍。附 DuckDB 大杀器和 5 条心法。- 0
- 0
-
享元模式完全指南:从 Integer 缓存到游戏粒子系统的内存优化
享元模式(Flyweight)在 GoF 23 个模式里使用频率不高,但它解决的问题非常具体:当系统里需要大量"细粒度对象"时,如何避免内存爆炸。Java 的 Integer.valueOf、String 池、字体渲染、游戏里的粒子系统,都在悄悄使用它。这篇文章把享元从原理讲到实战,讲清楚"内部状态 vs 外部状态"这个核心区分,以及它在不可变对象大行其道的…- 0
- 0
内存优化
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×