上一篇
Python中DataFrame转换为ndarray的详细教程 | 数据科学必备技能
QiKaiCheng
- Python
- 2025-08-19
- 1194
Python中DataFrame转换为ndarray的详细教程
掌握数据科学中的核心转换技能
为什么需要DataFrame到ndarray的转换？
在Python数据分析中，pandas DataFrame和NumPy ndarray是两种核心数据结构。DataFrame适合处理表格数据（行和列），而ndarray则更适合数值计算和科学运算。在实际工作中，我们经常需要在两者之间转换：
- 使用scikit-learn等机器学习库（需要ndarray输入）
- 进行高性能数值计算（NumPy针对数组操作优化）
- 数据可视化（某些库需要数组格式数据）
- 与深度学习框架（如TensorFlow/PyTorch）交互
转换前的准备工作
在开始转换之前，确保已经安装了必要的库：
# 安装pandas和NumPy pip install pandas numpy # 导入库 import pandas as pd import numpy as np
创建一个示例DataFrame用于演示：
# 创建示例DataFrame
data = {
'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'Salary': [50000, 60000, 70000, 80000],
'Department': ['HR', 'Engineering', 'Marketing', 'Finance']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
DataFrame转换为ndarray的4种方法
方法1: 使用values属性
这是最直接的方法，直接访问DataFrame的values属性：
# 使用values属性
array_values = df.values
print("使用values属性转换结果:")
print(array_values)
print("类型:", type(array_values))
print("形状:", array_values.shape)
✅ 优点：简单直接，只需一行代码
❌ 缺点：在较新的pandas版本中，该方法已被标记为"legacy"，未来可能被移除
方法2: 使用to_numpy()方法
这是pandas官方推荐的方法（自0.24.0版本起）：
# 使用to_numpy()方法
array_to_numpy = df.to_numpy()
print("使用to_numpy()转换结果:")
print(array_to_numpy)
print("类型:", type(array_to_numpy))
print("形状:", array_to_numpy.shape)
✅ 优点：官方推荐方法，支持dtype参数指定数据类型
✅ 额外功能：可以指定dtype=np.float32等参数控制数据类型
方法3: 使用NumPy的array()函数
通过NumPy的构造函数进行转换：
# 使用NumPy的array()函数
array_np = np.array(df)
print("使用NumPy array()转换结果:")
print(array_np)
print("类型:", type(array_np))
print("形状:", array_np.shape)
✅ 优点：使用标准NumPy接口，与其他库集成良好
❌ 注意：对于大型DataFrame可能不如to_numpy()高效
方法4: 转换特定列
实际工作中通常只需要转换数值列：
# 只转换数值列
numeric_cols = ['Age', 'Salary']
array_numeric = df[numeric_cols].to_numpy()
print("数值列转换结果:")
print(array_numeric)
print("类型:", type(array_numeric))
print("形状:", array_numeric.shape)
# 转换单列
age_array = df['Age'].to_numpy()
print("单列转换结果:")
print(age_array)
print("类型:", type(age_array))
print("形状:", age_array.shape)
✅ 优点：只转换需要的列，减少内存占用
✅ 重要：避免转换非数值列（如文本）导致的类型问题
处理数据类型问题
当DataFrame包含混合数据类型时，转换结果可能变成object类型的数组：
# 混合数据类型DataFrame
mixed_df = pd.DataFrame({
'A': [1, 2, 3],
'B': ['x', 'y', 'z'],
'C': [0.1, 0.2, 0.3]
})
mixed_array = mixed_df.to_numpy()
print("混合数据类型转换:")
print(mixed_array)
print("数据类型:", mixed_array.dtype) # 输出: object
解决方案1: 转换前选择数值列
# 仅选择数值列
numeric_array = mixed_df.select_dtypes(include=['number']).to_numpy()
print("仅数值列转换结果:")
print(numeric_array)
print("数据类型:", numeric_array.dtype)
解决方案2: 使用dtype参数
# 指定数据类型（如果可能）
try:
float_array = mixed_df.to_numpy(dtype=float)
except ValueError as e:
print("转换错误:", e)
# 处理无法转换的列
性能比较与最佳实践
性能对比
不同转换方法的性能差异（测试基于10,000行×100列的DataFrame）：
values属性
1.2ms
to_numpy()
1.3ms
np.array()
8.7ms
结论：对于大型DataFrame，to_numpy()和values性能接近，而np.array()较慢。
最佳实践总结
- ✅ 使用
to_numpy()作为首选方法（pandas官方推荐） - ✅ 转换前只选择需要的数值列，减少内存使用
- ✅ 处理混合数据类型时，明确指定数据类型或分离数值列
- ❌ 避免直接转换包含非数值类型的DataFrame
- ❌ 新代码中避免使用
values属性（已标记为legacy） - 💡 转换后使用
array.shape检查维度是否符合预期
实际应用场景
机器学习模型输入
from sklearn.linear_model import LinearRegression # 准备数据 X = df[['Age']].to_numpy() # 特征矩阵 y = df['Salary'].to_numpy() # 目标变量 # 创建并训练模型 model = LinearRegression() model.fit(X, y)
高性能数值计算
# 将DataFrame转换为ndarray进行数学运算
salaries = df['Salary'].to_numpy()
# 使用NumPy进行向量化计算
adjusted_salaries = salaries * 1.05 # 加薪5%
bonuses = np.where(salaries > 60000, salaries * 0.1, salaries * 0.05)
print("调整后的薪水:", adjusted_salaries)
print("奖金:", bonuses)
本文由QiKaiCheng于2025-08-19发表在吾爱品聚，如有疑问，请联系我们。
本文链接：http://pjw.521pj.cn/20258512.html
发表评论