spark配置

一. Scala安装

cd /usr/local/src
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

#下载之后解压
tar -zxvf scala-2.11.7.tgz

#配置环境变量
vi /etc/profile
#scala
export SCALA_HOME=/usr/local/src/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin

#配置生效
source /etc/profile

#检查版本
scala -version

二. spark安装

#获取spark
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.6.tgz

#解压
tar -zxvf  spark-2.3.4-bin-hadoop2.6.tgz
 
 

vi conf/spark-env.sh
#----------------------------------------------------------------------------#
export JAVA_HOME=/usr/local/src/jdk1.8
#export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=500m
export SPARK_WORKER_CORES=1
SPARK_MASTER_HOST=sandbox

#定义管理端口
export SPARK_MASTER_IP=sandbox
export SPARK_MASTER_PORT=7077
#定义master域名和端口
#定义master的地址slave节点使用
#SPARK_LOCAL_IP=sandbox
#定义work节点的管理端口.work节点使用
export SPARK_WORKER_WEBUI_PORT=8088
#每个worker节点能够最大分配给exectors的内存大小
export SPARK_WORKER_MEMORY=4g
#----------------------------------------------------------------------------#


vi /etc/profile
#Spark
export SPARK_HOME=/usr/local/src/spark-2.3.4-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin



source /etc/profile

启动spark服务：

start-master.sh 
//  sh sbin/start-master.sh
sh  start-master.sh



启动shell
spark-shell 

启动单机
spark-shell --master=local
spark-shell --master spark://sandbox:7077


Scala退出shell窗口
使用命令:q

运行模式

• 本机模式
  ./spark-shell --master local

• Standalone模式
  构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。
  ./spark-shell --master spark://172.16.89.69:7777
  ./spark-shell --master spark://192.168.2.230:7077

• Spark on Yarn模式
  Spark客户端直接连接Yarn。不需要额外构建Spark集群。
  spark-shell --master yarn
  spark-shell --master yarn-client

• Spark on Mesos模式
  Spark客户端直接连接Mesos。不需要额外构建Spark集群
  ./spark-shell --master mesos://172.16.89.69:7777
  ./spark-shell --master mesos://172.16.89.69:7777 --deploy-mode client
  ./spark-shell --master mesos://172.16.89.69:7777 --deploy-mode cluster