1. 上传数据到HDFS

上传一个文本文件到hdfs 的input文件夹下

本文上传了一个http通信过程的文本文件

上传数据

2. 终端运行hadoop mapreduce

由于hdp没有mapreduce的命令终端，所以这是进入终端执行hadoop命令

hadoop jar /usr/hdp/2.6.0.3-8/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input output
命令解释 jar 后，指定wordcount的jar包位置， wordcount指定运行函数

HDP-使用-mapreduce任务
以wordcount 为例子，展示在hdp平台上使用mapreduce 1. 上传数据到HDFS 上传一个文本文...
尚硅谷大数据技术之Oozie
4.3 案例三：Oozie调度MapReduce任务目标：使用Oozie调度MapReduce任务分步执行：1）找...
Partitioner
Hadoop内置Partitioner MapReduce的使用者通常会指定Reduce任务和Reduce任务输出...
Hadoop 源码学习笔记(8)--Yarn 简介
Hadoop 1.x 时使用 JobTracker 对 MapReduce 任务进行任务调度，但这样导致一个结果，...
Hadoop权威指南-ch2 MapReduce（1）
注：本文涉及书中2.1~2.3小结 1. MapReduce任务过程：map和reduce MapReduce任务...
Hadoop Streaming的使用
Hadoop Streaming是python可以调用于执行MapReduce任务的接口，本人在学习使用时踩...
Hive 工作原理
Hive SQL任务本质上最后是转化成了 MapReduce 任务执行。 MapReduce 实现 SQL 常见操...
结合 Apache Hive 和 Druid 实现高速 OLAP
Hadoop 生态中，我们使用 Hive 将 SQL 语句编译为 MapReduce 任务，对海量数据进行操作；D...
HBase-MapReduce案例：统计表中数据，使用MapRe
HBase的MapReduce任务过程 1.查看HBase的MapReduce任务所需的依赖： 2.执行环境变量的...
MapReduce
MapReduce介绍在Hadoop中计算模型使用的是MapReduce。Hadoop MapReduce计算编...