环境:
hadoop 2.7.5, mac OS 10.12.6, eclipse Mars
这两天搞配置搞了一万年,很多网上资料都过时了
这里,总结这么几个资料,对我帮助很大。
1. 安装hadoop, scala, spark:
https://www.cnblogs.com/bigdataZJ/p/hellospark.html
http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html
2. 配置eclipse
https://blog.csdn.net/u013050790/article/details/79262629
http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html
这里,eclipse的hadoop插件花了我很久时间,后来发现只要根据现有版本改一下就好了
如有需要2.7.5的,可以在这里下载:
https://github.com/erica2618/hadoop-2.7.5-eclipse-plugin-/blob/master/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.5.jar
3. spark +maven +eclipse:
https://github.com/yilong0722/Spark-wordcount
网友评论