掌握Linux平台下Hadoop，jdk的安装步骤：
下载压缩包：通过QQ邮箱，将window系统里的文件通过QQ邮箱发给自己，再在linux系统里通过QQ邮箱来下载，从而实现到将hadoop压缩包和jdk压缩包下载到Lunux系统中。
移动压缩包：在根目录下创建app和data文件，并将下载的压缩包移动到data文件中
解压缩到app文件中：通过输入tar -zxvf解压缩：
sudo tar -zxvf /data/jdk......tar.gz -C /app
JDK,hadoop的环境配置方法：
配置jdk环境变量：通过输入 vim /etc/profile
输入
从而配置java环境变量
然后输入Source 目录（/etc/profile）使环境变量生效
然后通过输入java -version来判断是否成功
配置hadoop环境变量：同样输入vim /etc/profile
输入
来配置hadoop环境变量
然后输入Source 目录（/etc/profile）使环境变量生效
然后通过输入hadoop来判断是否成功,发现不成功
配置hadoop环境文件，找到并打开
hadoop-env.sh(/app/hadoop-2.7.1/etc/hadoop/hadoop-env.sh)将JAVA_HOME=${JAVA HOME} 替换成java的安装目录
再输入hadoop时发现成功
SSH免密码登录的设置方法：
先安装ssh-serve,输入命令sudo apt-get install openssh-serve
在~/.ssh下执行：ssh-keygen
创建一个空的授权文件touch authorized_keys
将公钥的内容发送到授权文件cat id_rsa.pub >> authorized_keys
验证ssh免密码登录ssh localhost
Hadoop伪分布式安装的方法和技巧:
修改配置文件：core-site.xml,hdfs-site.xml
在同etc的文件路径创建tmp文件和dfs文件，同时dfs文件下创建name,和data
并且修改的配置文件如下
初始化文件系统hadoop namenode -formate
遇到了错误：
ERROR: 创建的/apps/hadoop-2.7.1/tmp/currentD无法使用
at org.apache.j…………….
说明权限不够。
解决方法：
dblab@dblab ~$: sudo su
root@ ~$: sudo chmod -R a+w /app/hadoop2.7.1
root@ ~$: exit
按照上述的步骤顺利完成
启动所有进程start-all.sh
发现权限不够，还得执行上述操作
dblab@dblab ~$: sudo su
root@ ~$: sudo chmod -R a+w /app/hadoop2.7.1
root@ ~$: exit
成功运行！
格式化完成，输入jps查看
dblab@dblab $: jps
NameNode
DataNode
SecondaryNameNode
Jps
Error:发现四个中少了一个，说明以上服务进程不全，是因为部分节点未格式化
解决方法：删除掉配置core-site.xml、hdfs-site.xml时创建的目录，之后通过mkdir重新创建。
删除命令：sudo rm -rf /apps/hadoop-2.7.1/dfs/name
重新创建mkdir
成功！
通过浏览器查看hdfs目录
网址：localhost:50070
创建：终端窗口：hadoop fs -mkdir /story
成功！
网友评论