将多个.csv文件中的数据导入到单个数据框中

问题描述：

我无法从几个.csv文件中将数据获取到单个数组中。我可以从.csv文件中获取所有数据，但我无法将所有数据都转换为简单的numpy数组。每个.csv文件的名称对我来说都很重要，所以最后我希望有一个Pandas DataFrame，其中包含以.csv文件的初始名称标记的列。将多个.csv文件中的数据导入到单个数据框中

import glob 
import numpy as np 
import pandas as pd 

files = glob.glob("*.csv") 

temp_dict = {} 
wind_dict = {} 

for file in files: 
    data = pd.read_csv(file) 
    temp_dict[file[:-4]] = data['HLY-TEMP-NORMAL'].values 
    wind_dict[file[:-4]] = data['HLY-WIND-AVGSPD'].values 

temp = [] 
wind = [] 
name = [] 

for word in temp_dict: 
    name.append(word) 
    temp.append(temp_dict[word]) 
for word in wind_dict: 
    wind.append(wind_dict[word]) 

temp = np.array(temp)  
wind = np.array(wind)

当我打印温度或风我得到的是这样的：

[array([ 32.1, 31.1, 30.3, ..., 34.9, 33.9, 32.9]) 
array([ 17.3, 17.2, 17.2, ..., 17.5, 17.5, 17.2]) 
array([ 41.8, 41.1, 40.6, ..., 44.3, 43.4, 42.6]) 
... 
array([ 32.5, 32.2, 31.9, ..., 34.8, 34.1, 33.7])]

当我真正想要的是：

[[ 32.1, 31.1, 30.3, ..., 34.9, 33.9, 32.9] 
[ 17.3, 17.2, 17.2, ..., 17.5, 17.5, 17.2] 
[ 41.8, 41.1, 40.6, ..., 44.3, 43.4, 42.6] 
... 
[ 32.5, 32.2, 31.9, ..., 34.8, 34.1, 33.7]]

这并不工作，但为目标我代码：

df = pd.DataFrame(temp, columns=name)

而当我尝试t o使用Pandas的DataFrame，每一行都是它自己的数组，因为它认为每一行只有元素，所以它没有帮助。我知道问题是与“阵列（...）”我只是不知道如何摆脱它。提前感谢您的宝贵时间和考虑。

什么是'temp'转换为'array'前？ – jezrael

你可以添加一些样品吗？ – jezrael

答

我认为你可以使用：

files = glob.glob("*.csv") 
#read each file to list of DataFrames 
dfs = [pd.read_csv(fp) for fp in files] 
#create names for each file 
lst4 = [x[:-4] for x in files] 
#create one big df with MultiIndex by files names 
df = pd.concat(dfs, keys=lst4)

如果想单独DataFrame更迭以上重塑解决最后一行：

df = pd.concat(dfs, keys=lst4).unstack() 

df_temp = df['HLY-TEMP-NORMAL'] 
df_wind = df['HLY-WIND-AVGSPD']

将多个.csv文件中的数据导入到单个数据框中

相关推荐