Spark编译打包

一、文档说明

1.1、文档描述

Spark官网上提供的是已经编译打包好了的软件，这为我们学习和使用spark提供了方便，但是在真实的生产环境中部署spark组件，为了保证spark和hdfs以及yarn 的兼容性，我们需要自己来编译spark源码。本文描述了如何使用maven来编译打包spark源码

1.2、阅读对象

Spark 开发运维以及正在学习spark的同学

二、编译打包介绍

2.1、编译环境准备

操作系统：centos 6.8

JDK版本：jdk1.8.181（centos 6 系统中推荐使用1.8.121及以上的版本）

Maven：3.6.2（maven 中央仓库配置为阿里云仓库，仓库地址见文末附录1）

Spark源码版本：spark-3.0.0-preview-rc2

2.2、编译步骤

步骤1：在shell中先修改maven编译时候的jvm参数

:> exportMAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

步骤2：然后进入到spark-3.0.0-preview-rc2目录下在shell 中输入

:> cd /xxx/ spark-3.0.0-preview-rc2

步骤3：先执行一遍clean install 命令，将spark的所有依赖全部安装到本地，因为由于每个人的环境不同，很可能不能一次就成功编译。强烈建议先执行一遍此步骤

:> mvn -DskipTestsclean install

步骤4：等待命令执行成功后在执行如下编译打包指令，在shell 中输入

:> ./dev/make-distribution.sh--name "spark3" --tgz "-Pyarn,Hadoop-provided,hadoop-2.7,parquet-provided,orc-provided,hive"

如果一直不能编译成功，且不是应为依赖下载不下来的原因，请打开Hadoop的源码，阅读Hadoop build 的方法，安装编译Hadoop所需要的依赖组件。然后再次执行上面的编译打包指令

附录1：阿里云中央仓库地址

           nexus-aliyun

           Nexus aliyun

           http://maven.aliyun.com/nexus/content/groups/public

如可以直接访问外网，则不建议配置阿里云为中央仓库