在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示
image.png
我们只要设置好log4j文件，就能在local模式下，将Spark的INFO信息隐藏，不影响程序中的结果输出。
下载spark，在spark/conf 文件夹 拷贝一份log4j.properties.template文件
image.png
2.复制到resource文件夹目录下
image.png
3.用文本打开，修改log4j.rootCategory=INFO, console为log4j.rootCategory=ERROR, console只显示ERROR级别的日志，保存。
image.png
4.将文文件重命名，去除后缀，修改为log4j.properties
5.运行，info消息去除了
image.png
在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助...
真正解决spark local模式的日志级别输出问题 在IDEA中开发Spark程序，程序一执行密密麻麻的Info...
https://blog.csdn.net/dabokele/article/details/52599768
在Spark应用程序中设置日志输出级别 我们通常会使用IDE（例如Intellij IDEA）开发Spark应用，...
Spark应用概念 Spark应用（Application）是用户提交的应用程序。执行模式又Local、Stand...
spark-local 详解 Spark的Local模式是在本地启动多个Threads(线程)来模拟分布式运行模式...
使用spark-sql操作hive的时候，有大量的INFO信息输出，很烦人，怎么将这些INFO信息屏蔽掉。 spa...
1.开发者模式 在idea中运行Flink程序的方式就是开发模式。 2.local-cluster模式 Fli...
intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可...
local模式下，我们都不会放到生产机器上面去提交,local模式，其实仅仅用于eclipse中运行spark作业...
本文标题：IDEA Spark程序在Local模式下去除输出INFO信息
本文链接：https://www.haomeiwen.com/subject/pagnfqtx.html
网友评论