Pandas 换掉 NumPy？PyArrow 后端入门与性能实测

Pandas 变了，但你还没注意到

如果你最近升级了 Pandas 到 2.0 以上版本，可能会发现一个变化：

import pandas as pd
df = pd.DataFrame({"a": [1, 2, 3]})
print(df._typ)  # 现在显示 'arrow' 而不是 'numpy'

Pandas 正在悄悄换掉它的底层引擎——从 NumPy 换成 Apache Arrow。这不是小事，意味着数据处理的速度、内存效率和兼容性都在发生变化。

为什么 Pandas 要换掉 NumPy？

NumPy 是 Python 科学计算的基石，Pandas 用了十几年。但有几个问题：

内存效率低 NumPy 数组是连续的内存块，但 Pandas 的 DataFrame 需要处理多种数据类型。结果是大量内存浪费在类型标记和空值处理上。

多线程支持差 NumPy 的 GIL（全局解释器锁）限制导致并行计算难以发挥多核优势。

跨语言互操作性差 JavaScript、R、Julia 等其他语言想高效处理 Python 数据，需要一个通用格式。NumPy 没有这个能力。

Arrow 就是为这些问题设计的：

• 零拷贝内存格式
• 列式存储，压缩效率高
• 跨语言标准，Spark、Flutter、R 都能用

如何用 PyArrow 后端

方法一：设置默认后端（推荐）

import pandas as pd
pd.options.mode.data_manager = "pyarrow"

设置后，所有新建的 DataFrame 都默认使用 Arrow 后端。

方法二：转换已有 DataFrame

import pandas as pd

# 用 NumPy 后端创建
df = pd.DataFrame({"a": [1, 2, 3], "b": ["x", "y", "z"]})

# 转成 Arrow 后端
df_arrow = df.convert_dtypes()
# 或者
df_arrow = df.astype(pd.ArrowDtype(df.dtypes))

方法三：直接读取为 Arrow

# CSV
df = pd.read_csv("data.csv", engine="pyarrow")

# Parquet（天然支持 Arrow）
df = pd.read_parquet("data.parquet")

性能实测

用 1000 万行数据测试了几个常见操作：

读取和内存节省是最明显的收益。 聚合操作提升较小，因为 Pandas 的聚合逻辑本身没有变。

代码示例

import pandas as pd
import time

# 设置后端
pd.options.mode.data_manager = "pyarrow"

# 生成测试数据
df = pd.DataFrame({
    "id": range(10_000_000),
    "category": pd.Categorical(["A", "B", "C", "D"] * 2_500_000),
    "value": pd.np.random.randn(10_000_000),
})

# 测试内存
print(f"内存占用: {df.memory_usage(deep=True).sum() / 1024**2:.1f} MB")

# 测试分组聚合
start = time.time()
result = df.groupby("category")["value"].mean()
print(f"聚合耗时: {time.time() - start:.3f}s")

什么时候不适合用 Arrow

Arrow 不是银弹，以下几种情况建议继续用 NumPy 后端：

旧版 Pandas（< 1.5） PyArrow 后端在早期版本中不够稳定，升级前先检查兼容性。

复杂的多线程代码 Arrow 的线程安全机制还在完善中，高并发场景可能有隐藏 bug。

依赖 NumPy 底层操作的库 有些科学计算库直接操作 NumPy 数组，换后端可能导致不兼容。

需要精确控制内存布局 Arrow 的列式存储在某些场景下反而更慢，比如行式遍历。

升级建议

如果你现在用的是 Pandas 1.x

升级到 2.0+ 后再开启 Arrow 后端：

pip install --upgrade "pandas>=2.0" "pyarrow>=12.0"

如果你用的是 Pandas 2.x

直接开启即可：

import pandas as pd
pd.options.mode.data_manager = "pyarrow"

渐进式迁移

不确定能不能全量切换？先在一个小模块里测试：

# test_arrow.py
import pandas as pd
pd.options.mode.data_manager = "pyarrow"

# 跑你的核心数据处理逻辑
df = pd.read_csv("important_data.csv")
result = df.groupby("key").agg({"value": "mean"})
assert len(result) > 0

测试通过后再全局启用。

常见问题

Arrow 后端和 PyArrow 库是什么关系？

Arrow 后端依赖 PyArrow 库作为实现。安装 Pandas 时如果不带 PyArrow，会自动降级到 NumPy 后端。

能同时用两种后端吗？

可以。不同 DataFrame 可以用不同后端，但混用时性能会受影响。

NumPy 数组还能用吗？

能。df.to_numpy() 仍然返回 NumPy 数组，只是 DataFrame 内部的存储格式变了。

总结

Pandas 换掉 NumPy 是大势所趋。Arrow 在内存效率和读取速度上的优势很明显，尤其是处理大数据集时。

但换后端不是强制的，你可以根据项目需要选择。建议从小处开始测试，逐步迁移。

你的项目现在用多少数据？要不要试试 Arrow 后端？