hadoop 入门

hadoop的逻辑结构

准备工作
1，安装xshell，xftp
2，虚拟机若干（可以先配置好一台，其他的复制）

pc	主机名	IP
1	master	192.168.56.100
2	slave1	192.168.56.101
3	slave2	192.168.56.102
4	slave3	192.168.56.103

配置好master，打开xshell连接到master，将hadoop-2.7.3.tar和jdk-8u91-linux-x64上传到maser的/usr/local中。

# cd /usr/local && ls    //查看上传的两个文件是否在该文件夹中
# rpm -ivh jdk-8u91-linux-x64.rpm    //安装jdk-8u91-linux-x64.rpm
# tar -xvf hadoop-2.7.3.tar.gz    //解压 Hadoop
# mv hadoop-2.7.3 hadoop
# cd hadoop/etc/hadoop
# vi hadoop-env.sh     //路径/usr/local/hadoop/etc/hadoop

//将export JAVA_HOME=${JAVA_HOME}
换成export JAVA_HOME=/usr/java/default

# vi /etc/profile

//在最后一行插入
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

# source /etc/profile
# shutdown -h now

关闭master，将其另外复制三台（slave1，slave2，slave3）分别修改他们的主机名与IP，使得他们在同一网段，相互之间能ping通。
用xshell连接所有虚拟机
xshell-->工具-->发送键输入到所有回话（即当多台虚拟机都输入相同的命令是，只需在一台虚拟机上输入一次）

# cd /usr/local/hadoop/etc/hadoop
# vi core-site.xml

//在倒数第二行插入脚本
<property>
<name>fs.defaultFS</name>;
<value>hdfs://master:9000</value>;
</property>

# vi /etc/hosts

//插入文本
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
192.168.56.103 slave3

仅在master中启动namenode

# hdfs namenode -format    //格式化namenode
# hadoop-daemon.sh start namenode   //启动namenode
# jps     
2540 NameNode          //启动成功

在其他的slave中启动DataNodels

# hadoop-daemon.sh start datanode    //启动datanode
# jps
2286 DataNode      //启动成功

master:

# netstat -ntlp     //查看网络相关信息
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 192.168.56.100:9000     0.0.0.0:*               LISTEN      1984/java           
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      1984/java           
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      808/sshd            
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1922/master         
tcp6       0      0 :::22                   :::*                    LISTEN      808/sshd      

tips：在宿主机的浏览器上浏览192.168.56.100：50070显示可以看到hadoop的外部界面。

关闭集群（master上关闭namenode，slave上关闭datanode）
在master上输入：

# hadoop-daemon.sh stop namenode
# jps
2115 Jps        //现在的Java进程中已经没有namenode表示关闭成功

同理在其他的slave上输入：

# hadoop-daemon.sh stop datanode
# jps
10199 Jps

如果我们有上千台slave，通过上面的管理固然是不方便的，所以我们需要对集群进行集中管理。

在master中修改slaves在里面添加上你所有的slave （slaves的路径:/usr/local/hadoop/etc/hadoop）

# cd /usr/local/hadoop/etc/hadoop
# vi slaves

插入：
slave1
slave2
slave3
tips:在master中输入命令，这个命令读取slaves里的列表，然后它会把这个命令发送到列表里的所有slave中。

# start-dfs.sh      //启动集群。

tisp:输入密码（master和所有的slave的密码）。
用jps命令检查master的namenode和所有slave的datanode是否启动。

使用ssh免密登录：

# cd
# cd .ssh && ls
known_hosts     //里面只有一个文件。
# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
30:a3:44:17:d3:aa:63:51:65:f3:97:34:ee:5d:49:4c root@master
The key's randomart image is:
+--[ RSA 2048]----+
|    . +++   o oE |
|   . ..o.o o o...|
|    ..+.  . +  ..|
|   ....+   o . . |
|    .o  S   . .  |
|    +            |
|   . .           |
|                 |
|                 |
+-----------------+

#ls 
id_rsa  id_rsa.pub  known_hosts     //里面多了id_rsa  id_rsa.pub。

tips: id_rsa是当前root用户的私钥，id_rsa.pub是公钥。

将公钥拷贝到所有的slave中

# ssh-copy-id slave1
passwd:     //输入slave1的密码。
# ssh-copy-id slave2
passswd:
# ssh-copy-id slave3
passwd:
# ssh-copy-id master        //本机也得拷贝一份。
passwd:

tips：这时所有的slave和master的~/.ssh中都多了一个authorized_keys文件。

# stop-dfs.sh       //关闭集群。
Stopping namenodes on [master]
master: stopping namenode
slave3: stopping datanode
slave1: stopping datanode
slave2: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode     //namenode和datanode已经全部停了，可以用jps查看。
# start-dfs.sh      //重新启动集群，这时将不再需要输入密码。

# hadoop fs -ls /       //查看HTFS根目录的当前结构。这个时候该路径下是空的。

找一个相对大一点的文件上传到上面的这个根目录下进行验证。(这里用/usr/local下的hadoop-2.7.3.tar.gz验证）
tisp：在浏览器中浏览192.168.56.100:50070-->Utilities-->Browse the file system-->hadoop-2.7.3.tar.gz可以看到验证结果。

# cd /usr/local
# hadoop fs -put ./hadoop-2.7.3.tar.gz /
# hadoop fs -ls /       //这时这个HTFS根目录下就多了一个文件（hadoop-2.7.3.tar.gz）。

# cd /usr/local/hadoop/etc/hadoop
# vi hdfs-site.xml

最后第二行插入：
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

tisp：将一个文件的2块，分别备份2份。

重启集群：

# stop-dfs.sh
# start-dfs.sh
# cd /usr/local
# hadoop fs -put jdk-8u91-linux-x64.rpm /       //上传文件，验证。

如果有一台slave坏了，它会自动把该台slave中的文件备份到其他的slave中：

# cd /usr/local/hadoop/etc/hadoop
# vi hdfs-site.xml

在倒数第二行插入：
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>10000</value>
</property>

# stop-dfs.sh
# start-dfs.sh

在slave3中使用hadoop-daemon.sh stop datanode把datanode关掉。
在浏览器中浏览192.168.56.100:50070-->Datanode确定slave3已经被down掉，在Utilities-->Browse the file system-->jdk-8u91-linux-64.rpm中确定该文件的2块备份都备份在slave1和slave2中。