-
pandas 上不动了:Polars + DuckDB 重写 5000w 行漏斗实录
pandas 处理 5000w 行 OOM,Dask 慢且复杂。从 pandas → Dask → Polars + DuckDB 演进全实录:工具对比 + Polars Lazy + DuckDB SQL 互转 + 性能调优 + 3 大坑(Null/lazy 链/S3 慢)+ K8s 部署。内存 -70%,速度 +8x。- 0
- 0
-
pandas 内存从 8GB 压到 800MB:60 万行 CSV 处理的 7 步优化
600MB CSV 加载占 5.2GB,处理峰值 8GB。本文 7 步优化:usecols 选列、dtype 显式声明、category 类型、parse_dates、chunksize 流式、Parquet 替代 CSV、polars 替代 pandas。最终 800MB + 速度快 4 倍。附 DuckDB 大杀器和 5 条心法。- 0
- 0
polars
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×