安装：

下载链接：
wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

配置sqoop：

cd /usr/local/sqoop/conf
mv sqoop-env-template.sh sqoop-env.sh

修改一下两行参数：
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop

配置环境变量：
vim /etc/profile
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile
验证：
sqoop help

下载mysql驱动：
下载链接：https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
解压出来，将mysql-connector-java-5.1.47.jar移动到 /usr/local/sqoop/lib

测试：

一、从mysql导入数据到hdfs：

1、创建一个mysql表：
导入的数据文件链接：https://github.com/bbengfort/hadoop-fundamentals/raw/master/data/avgprice_kwh_state.zip

use test；
create table average_price_by_state ( 
year int not null, 
state varchar(5) not null, 
sector varchar(255), 
residential decimal(10,2), 
commercial decimal(10,2), 
industrial decimal(10,2), 
transportation decimal(10,2), 
other decimal(10,2), 
total decimal(10,2)
); 

exit;
mycli -uroot -proot --local-infile=1

load data local infile 
'/root/avgprice_kwh_state.csv' 
into table average_price_by_state 
fields terminated by ',' 
lines terminated by '\n' ignore 1 lines;

2、导出到hdfs：
sqoop import \
--connect jdbc:mysql://10.112.1.71:3306/test \
--username root \
--password root \
--table average_price_by_state \
-m 1  \

--null-string '**' \
--fields-terminated-by ',' \
--target-dir '/sqoop.db'
--append \

解释：
--null-string 表示将数据库中表字段为NULL的用“**”代替
-m1 指定map任务数为1，所以hdfs中只会出现一个文件
--append 表示执行一次语句，则将这个库导出一次，可连续导出多次，默认执行多次也只导出一份
--target-dir 指定导出的hdfs的目录，默认与数据库名相同
默认情况下，数据库一条记录不同字段以逗号分隔，存到hdfs文件中

mysql_hdfs.jpg

二、从hdfs导入到mysql：

1、创建数据库表：
create table average_price_by_state_copy ( 
year int not null, 
state varchar(5) not null, 
sector varchar(255), 
residential decimal(10,2), 
commercial decimal(10,2), 
industrial decimal(10,2), 
transportation decimal(10,2), 
other decimal(10,2), 
total decimal(10,2)
) ; 

2、执行导入程序
sqoop export \
-D sqooop.export.records.per.statement=100 \
--connect jdbc:mysql://10.112.1.71:3306/test \
--username root \
--password root \
--table average_price_by_state_copy \
--fields-terminated-by ',' \
--export-dir "/sqoop.db" \
--batch \
--update-mode allowinsert;

解释：
sqooop.export.records.per.statement=100 表示批处理，100条数据提交一次；
--batch 表示使用批量导出
--update-key uid表示主键为uid
--update-mode 表示如何更新表中的数据

hdfs_mysql.jpg