美文网首页Python-pdR
python panda一次性读取多个csv并合并数据集

python panda一次性读取多个csv并合并数据集

作者: panjinya | 来源:发表于2020-01-15 15:47 被阅读0次

参考文章:
最近做文本训练时需要读取多个csv文件,并且把数据集合并起来

path = 'testData/'
files = os.listdir(path)
train_csv = list(filter(lambda x:(x[0:6] == 'train_' and x[-4:] == '.csv'),files))

指定csv存放路径,以及过滤出指定名称的csv文件

data_list = []
for fileitem in train_csv:
    tmp = pd.read_csv(path + fileitem,header=0)
    data_list.append(tmp)

定义一个空的list,回头用来存放文件名
依次读取csv文件,这里的pd.read_csv中可以按照自己的需要,指定要读取的列名,或者加一些新的数据,等

dataset = pd.concat(data_list,ignore_index = False)

合并数据集

相关文章

网友评论

    本文标题:python panda一次性读取多个csv并合并数据集

    本文链接:https://www.haomeiwen.com/subject/gmmtzctx.html