oozie调度插件的使用（三） Oozie 和 Hue 整合

1. 修改 hue 配置文件 hue.ini

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

[liboozie]
  # The URL where the Oozie service runs on. This is required in order for
  # users to submit jobs. Empty value disables the config check.
  oozie_url=http://hadoop01:11000/oozie

  # Requires FQDN in oozie_url if enabled
  ## security_enabled=false

  # Location on HDFS where the workflows/coordinator are deployed when submitted.
  remote_deployement_dir=/user/root/oozie_works

[oozie]
  # Location on local FS where the examples are stored.
  ## local_data_dir=..../examples

  # Location on local FS where the data for the examples is stored.
  ## sample_data_dir=...thirdparty/sample_data

  # Location on HDFS where the oozie examples and workflows are stored.
  # Parameters are $TIME and $USER, e.g. /user/$USER/hue/workspaces/workflow-$TIME
  ## remote_data_dir=/user/hue/oozie/workspaces

  # Maximum of Oozie workflows or coodinators to retrieve in one API call.
  oozie_jobs_count=100

  # Use Cron format for defining the frequency of a Coordinator instead of the old frequency number/unit.
  enable_cron_scheduling=true

  # Flag to enable the saved Editor queries to be dragged and dropped into a workflow.
  enable_document_action=true

  # Flag to enable Oozie backend filtering instead of doing it at the page level in Javascript. Requires Oozie 4.3+.
  enable_oozie_backend_filtering=true

  # Flag to enable the Impala action.
  enable_impala_action=true

[filebrowser]
  # Location on local filesystem where the uploaded archives are temporary stored.
  archive_upload_tempdir=/tmp

  # Show Download Button for HDFS file browser.
  show_download_button=true

  # Show Upload Button for HDFS file browser.
  show_upload_button=true

  # Flag to enable the extraction of a uploaded archive in HDFS.
  enable_extract_uploaded_archive=true

2. 启动 hue、oozie

启动 hue 进程

cd /export/servers/hue-3.9.0-cdh5.14.0

build/env/bin/supervisor

启动 oozie 进程

cd /export/servers/oozie-4.1.0-cdh5.14.0

bin/oozied.sh start

页面访问 hue

http://node-1:8888/

3.Hue 集成 Oozie

3.1 使用 hue 配置 oozie 调度

hue 提供了页面鼠标拖拽的方式配置 oozie 调度

image

3.2 利用 hue 调度 shell 脚本

在 HDFS 上创建一个 shell 脚本程序文件。

image image image

打开工作流调度页面。

image image image image image image

3.3 利用 hue 调度 hive 脚本

在 HDFS 上创建一个 hive sql 脚本程序文件。

image

打开 workflow 页面，拖拽 hive2 图标到指定位置。

image image image image image

3.4 利用 hue 调度 MapReduce 程序

利用 hue 提交 MapReduce 程序

image image image

参数：
mapred.mapper.new-api = true
mapred.reducer.new-api = true

指定 MR 的输出 key 的类型

mapreduce.job.output.key.class = org.apache.hadoop.io.Text

指定 MR 的输出的 value 的类型
mapreduce.job.output.value.class = org.apache.hadoop.io.IntWritable

指定输入路径
mapred.input.dir = 路径名称
mapred.output.dir = 路径名称

指定执行的 map 类
mapreduce.job.map.class = org.apache.hadoop.examples.WordCount$TokenizerMapper

指定执行的 reduce 类
mapreduce.job.reduce.class = org.apache.hadoop.examples.WordCount$IntSumReducer

配置 map task 的个数
mapred.map.tasks = 1

3.5 利用 Hue 配置定时调度任务

在 hue 中，也可以针对 workflow 配置定时调度任务，具体操作如下：

image image image image

一定要注意时区的问题，否则调度就出错了。保存之后就可以提交定时任务。

image image

点击进去，可以看到定时任务的详细信息。

image image

4. Oozie 任务查看、杀死

查看所有普通任务

oozie jobs

查看定时任务

oozie jobs -jobtype coordinator

杀死某个任务 oozie 可以通过 jobid 来杀死某个定时任务

oozie job -kill [id]

oozie job -kill 0000085-180628150519513-oozie-root-C