美文网首页
Hadoop 配置JobHistory

Hadoop 配置JobHistory

作者: 歌哥居士 | 来源:发表于2019-03-29 16:03 被阅读0次

配置:mapred-site.xml中的配置

mapreduce.jobhistory.address:jobhistory地址
mapreduce.jobhistory.webapp.address:通过浏览器访问jobhistory的地址
mapreduce.jobhistory.done-dir:MapReduce作业运行完之后放到哪里
mapreduce.jobhistory.intermediate-done-dir:正在运行中的放到哪

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>host000:10020</value>
    <description>MapReduce JobHistory Server IPC host:port</description>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>host000:19888</value>
    <description>MapReduce JobHistory Server Web UI host:port</description>
</property>
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/job/history/done</value>
</property>
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/job/history/done_intermediate</value>
</property>

配置:yarn-site.yml中的配置

<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
</property>

启动:mr-jobhistory-daemon.sh start historyserver

进入页面http://host000:8088/,之后可以点击History,然后查看

相关文章

网友评论

      本文标题:Hadoop 配置JobHistory

      本文链接:https://www.haomeiwen.com/subject/bycxvqtx.html