-
Pandas DataFrame 内存从 12GB 飙到 78GB OOMKilled 风控漏判 4 小时的 5 天复盘:object dtype + groupby 笛卡尔 + SettingWithCopy 三重叠加 + 11 条 Pandas 内存纪律
我们一个 4200 万行电商风控批处理任务,因加入商家维度 join,内存从 12GB 飙到 78GB,Worker 三次 OOMKilled,风控漏判 4 小时影响 17 万订单。5 天定位发现 object dtype + groupby 高 cardinality + SettingWithCopy 三重反模式叠加,治理后内存压到 4.2GB,沉淀完整 Pandas 内存治理 SOP 与 1…- 0
- 0
Copy-on-Write
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×