美文网首页
计算机毕业设计hadoop+spark+hive知识图谱酒店推荐

计算机毕业设计hadoop+spark+hive知识图谱酒店推荐

作者: 计算机毕业设计大全 | 来源:发表于2023-09-04 13:45 被阅读0次

流程:
1.Python爬取去哪儿网全站旅游数据约10万+,存入mysql;
2.使用pandas+numpy/hadoop+mapreduce对mysql中旅游数据进行数据清洗,使用高德API计算地理信息,最终转为.csv文件上传hdfs;
3.hive建库建表导入.csv文件作为数据集;
4.一半指标使用离线hive_sql分析完成,一半指标使用实时Spark之Scala完成;
5.分析结果使用sqoop导入mysql;
6.使用Flask+echarts构建可视化大屏;
创新点:大屏可视化、Python爬虫、高德地图、Spark实时计算、Hadoop+Hive离线计算全部实现
选装(如果觉得功能太简单或者工作量不够)-->推荐系统、预测系统、知识图谱、后台管理
实现界面如下:


1.png 2.png 4.png 19.png 23.png 25.png 26.png 6.png 7.png 8.png 9.png

相关文章

网友评论

      本文标题:计算机毕业设计hadoop+spark+hive知识图谱酒店推荐

      本文链接:https://www.haomeiwen.com/subject/wefcvdtx.html