Spark shell
1 概念：
SparkShell是Spark自带的一个快速原型开发工具，也可以说是Spark的scala REPL(Read-Eval-Print-Loop),即交互式shell。支持使用scala语言来进行Spark的交互式编程。
2 使用:
本地方式:
1) 首先启动sprak集群: ./start-all.sh;
2) 客户端 spark的bin目录下:
3) 启动hdfs，创建目录spark/test,上传文件wc.txt到目录下
spark shell启动成功
4) 运行一个spark application
success
5) 退出spark shell :quit
Spark历史日志服务器
1) 配置客户端 spark的conf目录下的spark-defaults.conf
spark-defaults.conf配置
从上到下四个配置项分别是:
开启日志;
日志存放目录;
spark历史日志服务器恢复目录,当然要跟第二项保持一致
日志是否压缩存储
2) 进入sbin 目录 ./start-history-server.sh
3) 访问历史日志服务器Web UI
网友评论