Spark Windows开发环境搭建

作者: litterbug21 | 来源:发表于2018-03-08 17:16 被阅读0次

Spark安装--及快速开始
Spark Windows开发环境搭建
Intellij之Spark Scala开发环境搭建
windows环境下做spark开发
搭建Windows + VirtualBox + LNMP混合开
angular学习--02英雄指南
史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spar
搭建一个简单的Flask程序
2018-11-12Pyspark win环境配置参考
Spark相关文章索引（5）

1、配置Java开发环境，下载JDK8.0版本(jdk1.8.0以上版本），JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，下载地址是Java SE Downloads，一般进入页面后，会默认显示一个最新版的JDK，如下图所示，当前最新版本是JDK 8，更为详细具体的地址是Java SE Development Kit 8 Downloads：

安装完成后，设置JAVA_HOME和Path环境变量。

2、安装Scala，windows平台下面选择msi版本，这里安装版本为2.12.0版本 , 下载地址：https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.msi 。

3、安装Spark，可以下载编译好的版本spark-2.3.0-bin-hadoop2.7，下载地址：http://mirrors.shu.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz ，直接解压到安装目录，设置环境变量
PATH和SPARK_HOME，PATH 添加为spark安装目录下的bin目录，SPARK_HOME设置为spark安装目录。

4、安装Hadoop,安装版本为2.7.1版本，下载路径：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/ ，如果提示缺

参考： http://blog.csdn.net/u011513853/article/details/52865076

http://blog.csdn.net/u011669700/article/details/54615010