Excel数据清洗

之前由于需要处理一些从网站数据库直接提取出的excel表格，进行去重和对相应单位的编号，所以有了这一次Excel数据清洗的经历。
下面就进行详细说明。

目的：
1、去重
2、编号

使用语言：python

涉及到的主要模块：
1、xlrd
2、Pandas

一、知识准备

1、Pandas介绍

python的数据分析包，是作为金融数据分析工具而被开发的，这里我们主要是利用pandas将excel表格数据转化为其中的数据结构DataFrame，从而将操作excel表变成操作DataFrame。

2、DataFrame

该数据结构是一个表格型的数据结构，包含一组有序的列，每列可以是不同的值类型。拥有行索引和列索引。
具体的关于DataFrame的操作这里给出一个比较好的使用说明，里面也有介绍Series的内容：Pandas使用指南

3、xlrd介绍

在这次数据经历的工作中还使用到了python中来读取和存储excel的扩展模块——xlrd。
它的作用来对本次处理的excel表格进行读取和存储，同时也可以实现指定表单、指定单元格的读写。

4、xlrd的基本操作

1）导入模块
    import xlrd
2）打开Excel文件读取数据
    data = xlrd.open_workbook('excelFile.xls')
3）使用技巧
    获取一个工作表
    table = data.sheets()[0]                   #通过索引顺序获取         
    table = data.sheet_by_index(0)             #通过索引顺序获取
    table = data.sheet_by_name(u'Sheet1')      #通过名称获取
    
    获取整行和整列的值（数组）
    table.row_values(i)
    table.col_values(i)
 
    获取行数和列数
　  nrows = table.nrows
    ncols = table.ncols
       
    循环行列表数据
    for i in range(nrows ):
          print table.row_values(i)
 
    单元格
    cell_A1 = table.cell(0,0).value
    cell_C4 = table.cell(2,3).value
 
    使用行列索引
    cell_A1 = table.row(0)[0].value
    cell_A2 = table.col(1)[0].value
 
    简单的写入
    row = 0
    col = 0
 
    # 类型 0 empty,1 string, 2 number, 3 date, 4 boolean, 5 error
    ctype = 1 value = '单元格的值'
 
    xf = 0 # 扩展的格式化
 
    table.put_cell(row, col, ctype, value, xf)
    table.cell(0,0)  #单元格的值'
    table.cell(0,0).value #单元格的值'

二、流程

这里主要说明一下整个数据清理的逻辑。

流程介绍

三、代码

其实这次清理的整个逻辑比较简单，涉及到的比较难的部分在于Pandas中DataFrame数据结构的使用。

1、去重

#filename: delete_dup.py

# -*- coding:utf-8 -*-

import pandas as pd

# 将excel文件转换为DataFrame
df = pd.DataFrame(pd.read_excel('excel_name.xlsx')) 

# 删除对应列的重复值，保留第一次出现的位置
new_df = df.drop_duplicates('1', keep='first').dropna()
print 'drop ok!'

new_df.to_excel('excel_name_fix.xlsx')

2、编号并回填

#filename: build_tag.py

# -*- coding:utf-8 -*-
import pandas as pd
import xlrd

# 生成对应索引所需文件
data = xlrd.open_workbook('ROOT_TO_YOUR_FILE_FROM_LAST_CLEAN.xlsx')
table = data.sheet_by_index(0)
# 获取行数
nrows = table.nrows

# 键值对的信息格式为 —— 名字：UID
UID = {}
# 这样会包含第一行列名的信息，问题不大
# 第二列和第三列
# 第二列：第三列
for i in range(nrows):
  UID[table.cell(i,1).value]=table.cell(i,2).value
###############################至此完成数据编号##################################

#################################下面进行回填###################################
# 待清洗数据
cleaning_data = pd.DataFrame(pd.read_excel('ROOT_TO_YOUR_FILE_TO_CLEAN.xlsx'))
# print cleaning_data
series_name = cleaning_data['UNAME']

# 生成索引
new_form =  pd.Series(UID, index=series_name)
# 添加新列为索引值
cleaning_data['UID'] = new_form.values
cleaned_data = cleaning_data


# 调整列的顺序
UID = cleaned_data.pop('UID')
cleaned_data.insert(5, 'UID', UID)

# 写文件
cleaned_data.to_excel('ROOT_TO_STORE_YOUR_CLEANED_FILE.xlsx')
print 'ok'