美文网首页
HiBench 7.1的编译文末有源码以及编译后的jar

HiBench 7.1的编译文末有源码以及编译后的jar

作者: 你的努力时光不会辜负 | 来源:发表于2020-12-28 13:58 被阅读0次

1、编译环境

hadoop 2.7.3

hive 3.1.0

kafka 2.0.0

spark:2.3.2

2、源码获取地址:

https://github.com/Intel-bigdata/HiBench

3、配置maven

maven的conf下settings.xml,镜像地址配置阿里云

4、下载源码包,可以直接下载源码包,然后解压

5、编译全量(也可以分开编译)

cd HiBench-master

mvn clean package

6、编译完成

7、期间遇到的问题

解决办法:修改pom.xml中的对应的下载地址

a、网上给出的解决办法是:将pom.xml的地址修改为https,但是这边因为网络的问题,一直没下载成功

vim hadoopbench/sql/pom.xml 修改该文件中,将http改为https即可

<properties>     

<repo>https://archive.apache.org</repo> 

<file>dist/hive/hive-0.14.0/apache-hive-0.14.0-bin.tar.gz</file> 

</properties>    

b、修改pom.xml的地址为本地的地址,然后通过浏览器下载下来,上传到指定的目录(在hadoop的源目录下新建一个目录,用来存放下载好的包,将pom中的地址修改为对应的源的地址)

对于下载不下来的包都可以使用本地源的方式,很快编译成功

本地源的搭建可参考如下链接,主要是本地yum仓库使用:

https://blog.csdn.net/lidachao01/article/details/53469272?locationNum=8&fps=1

8、HiBench 7.1编译好的包获取

链接:https://pan.baidu.com/s/1whw4GvEfNbtsYVnhkG49Ew

提取码:d55o

相关文章

网友评论

      本文标题:HiBench 7.1的编译文末有源码以及编译后的jar

      本文链接:https://www.haomeiwen.com/subject/iwnznktx.html