用pandas进行数据预处理
【代码】用pandas进行数据预处理。
·
参考:d2l
在进行数据预处理的时候,我们常常使用pandas进行数据预处理,我们需要掌握的知识如下

代码如下:
'''pandas的基本使用'''
import pandas as pd
import torch
# 创建Pandas DataFrame
DF_NAME = [
"channel",
"position",
"dir_name",
]
# 创建空DataFrame
df_rows_num = 10
df = pd.DataFrame(
data=None,
index=range(df_rows_num),
columns=DF_NAME,
)
print(df)
# add one row - method 1: generage a dictionary, then using .loc[] || recommanded ||
df_one_row_dict = {
"channel": "retardance",
"position": 4,
"dir_name": "None",
}
df.loc[0, :] = df_one_row_dict
# add one row - method 2: generate one dataframe, then using concat.
df_one_row_dict = {
"channel": ["retardance"],
"position": [4],
"dir_name": ["None"],
}
df_one_row = pd.DataFrame(df_one_row_dict)
df = pd.concat([df, df_one_row], axis=0)
print(df)
# 类型转换 - 转为numpy
numpy_data = df.to_numpy()
print(numpy_data)
# 转为tensor: 用.values只取值(将index剔除);用.astype("float64")指定ndarray的数据类型。
df_position = df.loc[:, "position"]
df_position = df_position.dropna(axis=0, how="all")
print(df_position)
torch_data = torch.tensor(df_position.values.astype("float64"), dtype=torch.float64) # ndarray转换类型
print(torch_data)
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)