美文网首页我爱编程
hadoop 2.7.5 + spark +scala + ec

hadoop 2.7.5 + spark +scala + ec

作者: aef21c3a08c0 | 来源:发表于2018-04-02 01:44 被阅读113次

环境:

hadoop 2.7.5, mac OS 10.12.6, eclipse Mars

这两天搞配置搞了一万年,很多网上资料都过时了

这里,总结这么几个资料,对我帮助很大。

1. 安装hadoop, scala, spark:

https://www.cnblogs.com/bigdataZJ/p/hellospark.html

http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html

2. 配置eclipse

https://blog.csdn.net/u013050790/article/details/79262629

http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html

这里,eclipse的hadoop插件花了我很久时间,后来发现只要根据现有版本改一下就好了

如有需要2.7.5的,可以在这里下载:

https://github.com/erica2618/hadoop-2.7.5-eclipse-plugin-/blob/master/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.5.jar

3. spark +maven +eclipse:

https://github.com/yilong0722/Spark-wordcount

相关文章

网友评论

    本文标题:hadoop 2.7.5 + spark +scala + ec

    本文链接:https://www.haomeiwen.com/subject/soyacftx.html