美文网首页
Apache Oozie 如何去 Debug

Apache Oozie 如何去 Debug

作者: nobigogle | 来源:发表于2020-05-04 08:07 被阅读0次

由于之前做过这方面的工作,之前没有经验也独自搞了好久,希望可以帮到大家!!!

早期版本4.3.0以及之前版本

1. oozie调试Spark应用程序

在SparkOpts中添加:

sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"

2. oozie调试Mapper进行调度相应的Action的过程

<configuration>
<property>
<name>oozie.launcher.mapred.child.java.opts</name>
<value>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</value>
</property>
</configuration>

最新版本5.0.0

1. oozie调试Spark应用程序(与之前版本相同)

在SparkOpts中添加:

sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"

2. oozie调试Mapper进行调度相应的Action的过程

<configuration>
<property>
<name>yarn.app.mapreduce.am.admin-command-opts</name>
<value>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</value>
</property>
</configuration>

3. 调试单个action的launcher

<launcher>
       <java-opts>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</java-opts>
</launcher>

其中具体的标签位置以及写法可参考client的resource中定义的xsd文件

相关文章

网友评论

      本文标题:Apache Oozie 如何去 Debug

      本文链接:https://www.haomeiwen.com/subject/dzteghtx.html