大数据从安装开始

Windows环境下

1. CentOS 6.5 64位安装介质下载，即，
   介质名称：CentOS-6.5-x86_64-minimal
   下载链接：http://pan.baidu.com/s/1mi1hhP2
   下载密码：fjuj

2. jdk1.7.80下载，即，
   名称：jdk-7u80-linux-x64.rpm
   链接：http://pan.baidu.com/s/1qYqjITu
   密码：w4a8

3. VMware-workstation-full-14.0.0
   名称：VMware-workstation-full-14.0.0.24051
   链接：http://pan.baidu.com/s/1gfCgE0z 密码：7t9r

4. zookeeper
   名称：zookeeper-3.4.10.tar.gz
   链接：http://pan.baidu.com/s/1gfCgE4b 密码：gf7c

5. hadoop
   名称：hadoop-2.5.2.tar.gz
   链接：http://pan.baidu.com/s/1qYwVvEs 密码：v675

---

6. SSH免密码登陆的配置，即，

   
   31D0C07ABACF2A308AC9DEF6DC8DD0FB.png

============================SSH免密码登陆===========================
1、生成公钥/私钥对
$ssh-keygen -t rsa
-》-t代表指定加密类型
-》rsa代表加密类型中的一种
-》可以直接ssh-keygen
-》因为系统默认的就是rsa类型
在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥发送
拷贝公钥至authorized_keys文件
$ssh-copy-id hadoop-cluster01
3、一般不建议使用start-all.sh脚本
4、Linux中的用户主目录权限一般为700或者是755
5、.ssh一般权限为700或者755
6、不要随意更改用户主目录的权限和.ssh目录权限的公钥和密钥文件的权限，随意更改会直接导致免密码登陆设置的失败

7. 本地仓库在maven的配置文件的路径，即，

   
   969D2F37821E7AC57246879540A299B6.png

8. 阿里云的私服路径，即，

   
   C7EE7F760C78FDE2934188078BB459CF.png

9. hadoop的伪分布式的配置文件，在hadoop-2.5.2/etc/hadoop目录下，即，
   1、hadoop-env.sh
   2、core-site.xml
   3、hdfs-site.xml
   4、mapred-env.sh
   5、mapred-site.xml

10. 4D93B8C25F0422CA611279D947063949.png

11. Flume方面的相关文件和jar包

12. MapReduce的模板：MapReduceModule.java

13. PV统计的WebPvMapReduce.java

14. 依赖包的pom.xml文件

15. jdk1.7或者1.8

16. 后面的分别是

1、apache版的apache-hive-0.13.1-bin.tar.gz；
2、CDH版的hive：hive-0.13.1-cdh5.3.6.tar.gz
3、hive连接mysql的驱动包：mysql-connector-java-5.1.27-bin.jar
4、mysql-5.7.19.tar.gz的安装tar包，即

17. 但安装mysql5.7需要boost,即，

18. HBase的Web界面，即，

    
    64EF78BABA5AC986A38A8B4106E86F0C.png

19. 访问方式为http://节点名称：端口
    端口为60010

    
    1094277262EB0703B872D7473B5B623D.png

20. HBase所需要的lib下的jar包，分别是hadoop的和zookeeper的

    
    0B738F66902F4313FC81D0D005BD3D54.png

21. 压缩成一个了，即

22. 修改hbase-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_79
    由于hbase自带了zk的jar包，所以使用自定义的zk，则设置为false
    export HBASE_MANAGES_ZK=false

23. 修改相应的配置文件为：
    hbase-env.sh
    hbase-site.xml

---

安装

本次安装在阿里云的ECS上，系统为Ubuntu 14

1. 连接阿里云服务器
2. 安装jdk

javac //验证

apt-get install openjdk-7-jdk//安装
//以上命令如果失败，则需要更新库
apt-get update//更新，更新后再使用上一条命令

安装后，需要配置环境变量

vim /etc/profile

在以下添加如下，具体地址在之前安装时出现过，自行修改

image

修改完毕后，更新

source /etc/profile

可以使用以下命令以验证

echo $JAVA_HOME
echo $PATH
javac

3. 命令行下载hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz