美文网首页
在win上安装spark以及使用

在win上安装spark以及使用

作者: tgw_wzu | 来源:发表于2017-07-08 15:10 被阅读0次

安装

Anaconda使用总结 http://www.jianshu.com/p/2f3be7781451

Spark在Windows下的环境搭建 http://www.jianshu.com/p/7b325155edab 

pycharm开发spark(但未成功) http://blog.csdn.net/huangxia73/article/details/51372557

注意环境配置后仍未生效,则重启就行.原因不明

在idea上可以使用scala连接集群,但未实践

初使用

spark文档 http://spark.apache.org/docs/latest/

sprak需要python或者scala语言 王垠学习语言 http://www.yinwang.org/blog-cn/2017/07/06/master-pl

在本机做了一个月地铁数据统计,依据清分系统算出各条线路的客流量的demo.

数据部分16.04 5G;17.04 12G 运行时间5H左右.

深入

计划用scala和python实现官网上的doc

相关文章

网友评论

      本文标题:在win上安装spark以及使用

      本文链接:https://www.haomeiwen.com/subject/ocmgfxtx.html