流程:
1.采集雪球网约50万股票数据存入mysql;
2.使用pandas+numpy或hadoop+mapreduce对mysql中的数据进行数据清洗并转存.csv文件上传到hdfs;
3.使用hive建表建库导入hdfs中的.csv数据集;
4.一半指标使用hive_sql进行离线计算分析,一半指标使用Spark之Scala语法进行实时计算分析;
5.分析结果使用sqoop导入mysql数据库;
6.使用flask+echarts搭建可视化大屏界面;
创新点:Python爬虫、海量数据、可视化大屏、实时+离线计算双实现
可选装项目模块如下:
1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。
2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。
3.知识图谱neo4j可视化关系网络图。
4.后台管理系统。
Snipaste_2023-07-08_16-00-37.png
Snipaste_2023-07-08_16-07-50.png
Snipaste_2023-07-08_16-10-46.png
Snipaste_2023-07-08_16-12-57.png
Snipaste_2023-07-08_16-13-34.png
Snipaste_2023-07-08_16-13-54.png
Snipaste_2023-07-08_16-15-19.png
Snipaste_2023-07-08_16-15-42.png
Snipaste_2023-07-08_16-18-21.png
Snipaste_2023-07-08_16-18-45.png
Snipaste_2023-07-08_16-19-06.png
Snipaste_2023-07-08_16-19-27.png
Snipaste_2023-07-08_16-19-45.png
Snipaste_2023-07-08_16-20-29.png
Snipaste_2023-07-08_16-20-59.png
Snipaste_2023-07-08_16-21-45.png
Snipaste_2023-07-08_16-24-35.png
Snipaste_2023-07-08_16-25-28.png
Snipaste_2023-07-08_16-26-52.png
Snipaste_2023-07-08_16-27-05.png
Snipaste_2023-07-08_16-27-54.png
Snipaste_2023-07-08_16-28-26.png
Snipaste_2023-07-08_16-28-39.png
Snipaste_2023-07-08_16-29-00.png
Snipaste_2023-07-08_16-29-17.png
Snipaste_2023-07-08_16-29-34.png
Snipaste_2023-07-08_16-31-47.png
Snipaste_2023-07-08_16-33-02.png
Snipaste_2023-07-08_16-33-52.png








网友评论