目的
认识Spark
基础知识
需要有一丢丢的Linux基础，至少知道名词，了解Linux基础命令
Linux常用命令：https://blog.csdn.net/qq_23329167/article/details/83856430/
本次用到了
新建文件夹：mkdir
重命名文件：mv
查看端口开通：netstat -aptn
查看7077端口状态：lsof -i:7077
关闭端口
iptables -A INPUT -p tcp --dport 7077 -j DROP
打开端口
iptables -A INPUT -p tcp --dport 7077 -j ACCEPT
然后再运行spark打开端口操作，spark可以正常 的启动。
解压文件夹：tar -zxvf 文件名
环境搭建：
安装jdk（选择第一种安装）
https://blog.csdn.net/weixin_39984161/article/details/91447727
配置JAVA_HOME
https://blog.csdn.net/zhpengfei0915/article/details/50963199
查看JAVA_HOME
JAVA_HOME路径，配置到版本文件夹层即可，如下图所示：
image.png
Spark 安装配置
https://blog.csdn.net/weixin_30883311/article/details/95363926
1：创建云服务 -Linux环境（需要开启 IPV6，因为7077启动后协议是IPV6）
2：xshell连接到服务器
3：新建文件夹 mkdir spark
4：下载spark
wget -P /spark https://mirrors.bfsu.edu.cn/apache/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz/
即 wget -P 目录 下载地址
5：解压 tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz
6：修改配置
image.png
7：启动应用：/spark/sbin/目录下：运行
./start-all.sh
正常启动界面
image.png
8：查看日志：Spark/logs/
cat spark-root-org.apache.spark.deploy.master.Master-1-spark.out
启动成功日志
遇到的坑：
1：JAVA_HOME没找到安装目录
2：修改后没生效-配置文件修改后，使生效 ：source /etc/profile
3：使用云服务，没配置网络策略（需要在主机管理-网络与安全配置策略）
云主机配置策略
4：Spark启动后，运行示例代码时，连接不到7077端口，查看7077发现是IPV6协议，重新开通主机的IPV6
连接不到7077
查看7077端口为IPV6协议
网友评论