参考文章:
最近做文本训练时需要读取多个csv文件,并且把数据集合并起来
path = 'testData/'
files = os.listdir(path)
train_csv = list(filter(lambda x:(x[0:6] == 'train_' and x[-4:] == '.csv'),files))
指定csv存放路径,以及过滤出指定名称的csv文件
data_list = []
for fileitem in train_csv:
tmp = pd.read_csv(path + fileitem,header=0)
data_list.append(tmp)
定义一个空的list,回头用来存放文件名
依次读取csv文件,这里的pd.read_csv中可以按照自己的需要,指定要读取的列名,或者加一些新的数据,等
dataset = pd.concat(data_list,ignore_index = False)
合并数据集
网友评论