美文网首页
Hadoop测试使用

Hadoop测试使用

作者: 热爱学习qwq | 来源:发表于2021-04-27 11:18 被阅读0次

通过一个 MapReduce 程序测试 Hadoop,统计 HDFS 中/input/data.txt 文件内单词出现 的次数。

(1)在 Ubuntu 操作系统的~目录下,创建一个文本文件 data.txt。

$ vi data.txt

在 data.txt 文件中输入如下内容,保存并退出。

Hello World

Hello Hadoop


(2)在 HDFS 创建 input 文件夹,命令如下。

$ hdfs dfs -mkdir /input

(3)将 data.txt 上传到 HDFS,命令如下。

$ hdfs dfs -put data.txt /input

(4)查看是否上传成功,命令如下

$ hdfs dfs -ls /input

(5)运行 MapReduce WordCount 例子,命令如下。

$ cd ~/hadoop/share/hadoop/mapreduce

$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output

(6)查看结果。

$ hdfs dfs -cat /output/part-r-00000


(7)关闭Hadoop进程

stop-all.sh

相关文章

网友评论

      本文标题:Hadoop测试使用

      本文链接:https://www.haomeiwen.com/subject/ymxprltx.html