Recording Code I

1.合并导出excel表

# coding: utf-8
from pandas import read_excel
import pandas as pd
import os
import time

#df=read_excel('E:/R/Data/储值卡金额异动统计/11/2021-03.xlsx')
#df1.head()
time_start=time.time()

path="D:/test/test数据/aa/"
#path="E:/R/Data/储值卡金额异动统计/11/"
excels = [read_excel(path+fname) for fname in os.listdir(path) if 'xls' in fname]
df = pd.concat(excels)
df.to_excel('D:/test/test数据/储值卡金额异动汇总.xlsx', index=False)

#path="D:/test/test数据/"
#excels = [read_excel(fname) for fname in os.listdir(path) if 'xls' in fname]
#df = pd.concat(excels)
#df.to_excel('D:/test/test数据/汇总.xlsx', index=False)

print("------完成------")

time_end=time.time()
print('time cost',time_end-time_start,'s')

df.head()

2.合并路径下所有excel表

#!/usr/bin/python
# coding: utf-8
import pandas as pd
import os
import time

time_start=time.time()
#文件路径
file_dir="D:/test/test数据/aa/"
#合并新表格名称
new_filename=file_dir+'\\new_file.xlsx'

#返回文件路径下所有表格的列表
file_list=os.listdir(file_dir)
new_list=[]


for file in file_list:
    file_path=os.path.join(file_dir,file)    #重构文件路径
    dataframe=pd.read_excel(file_path)       #将excel转换成DataFrame
    new_list.append(dataframe)
df = pd.concat(new_list)                     #数据转换



#数据清洗

df2=df
df2=df2.set_axis(df2.iloc[1],axis=1,inplace=False)  #设置第一行数据作为columns
#df=df.drop_duplicates()                              #去除重复行
df2=df2[~df2['业务时间'].isin(['业务时间'])]          #筛除指定行
df2.dropna(subset=['业务时间'],inplace=True)          #去除业务时间为NaN的行
df2=df2.reset_index(drop=True)

df2.to_excel(new_filename,index=False)

time_end=time.time()
print('time cost',time_end-time_start,'s')
df2