随着大数据时代的到来，超图贯穿空间大数据全过程的各个环节，实现了技术的创新。超图将大数据存储管理、大数据空间分析和大数据实时流处理等技术与SuperMap GIS技术深度融合，全面扩展对大数据的支持能力，形成了全新的空间大数据GIS技术体系，具有如下特点：
-
-
通过对分布式文件系统、分布式数据库的扩展支持，提升了对空间大数据高效稳定的存储管理能力；
-
提供了SuperMap iObjects for Spark空间大数据组件， 从内核扩展了Spark空间数据模型，不仅基于分布式计算技术重构了已有的空间分析算法，大幅提升了海量空间数据分析的效率，并且针对大数据研发了一系列新的空间分析算法，可直接嵌入到Spark内运行，解决了空间大数据分析和应用难题；
-
SuperMap iServer提供了全新的空间大数据存储、空间大数据分析、实时流数据处理等Web服务，并内置了Spark运行库，降低了大数据环境部署门槛；
-
提供了表现形式丰富的、二维三维兼具的各种聚合图、密度图、关系图、热度图等空间大数据可视化技术，突破海量动态目标二维和三维可视化技术，支持50万级目标同屏实时动态跟踪及管理；
-
SuperMap iManager通过资源智能调配、任务自动化调度、资源监控与预警，轻松实现大数据运维管理。
超图不断创新和发展GIS技术，实现与大数据技术的深度融合，致力于为用户提供强大的空间大数据GIS基础软件及服务，降低技术门槛，让更多用户能够轻松管理与挖掘空间大数据“金矿”。
SuperMap大数据GIS基础软件架构
项目背景
卫星跟踪船舶大数据项目是以船舶位置为基础，融合全球岸基和卫星船舶动态数据的大数据信息服务平台，以提高海上航行安全能力和船舶生产管理效率，使航行更安全、更便捷，可用于海上综合管理和应急处置，也可用于企业船舶日常生产调度和安全管理。
卫星地面站每天接收280万条船舶实时位置数据，海量的船舶数据都是通过Oracle集群存储。原有系统存在的问题主要包括：
-
-
每天有几百万船舶位置数据，时间久了，无法将海量数据存储在一张表中。同时非常容易发生死锁等并发问题，导致读写效率低下。
-
扩展困难：由于存在类似Join多表查询，使得数据库很难扩展。
-
数据库软件采购高。企业级数据库的License价格惊人，并且随着系统的规模，而不断上升。
-
大数据量的船舶空间位置信息，无法通过可视化的方式帮助业务部门进行船舶位置跟踪和热点区域船舶数据监控。
针对于上述问题，迫切需要建设基于GIS的船舶大数据监管系统。
项目目标
项目分两期建设，第一期项目建设核心目标包括：
-
-
每天280万条船舶实时位置数据可视化和船舶信息查询。
-
半年约16亿条船舶数据，按照时间和空间两个维度快速完成船舶轨迹的回放。时间维度包括每天、每小时，空间维度包括敏感区域和自定义区域两种类型。
-
近两年约含100亿条船舶数据的存储方案建设。同时包括诸如地面站、港口、营地等约10万条岸基数据的静态数据展示和查询。
-
时空大数据统计，通过时间和空间两个维度统计自定义时间段和范围的船舶数量统计。
项目建设过程
针对用户需求，主要实现对海量船舶数据的分布式存储和数据清洗工作，并最终通过GIS可视化完成空间位置查询和轨迹追踪。
系统设计架构图
最新船舶数据可视化
SuperMap iObjects 9D
SDX+空间数据引擎将用csv格式船舶数据导入到SuperMap
iServer DataStore集群中进行分布式的存储。280万条船舶实时位置通过SuperMap
iServer 9D多进程预缓存实现小比例尺的可视化显示，在大比例尺下直接通过
Elasticsearch的范围索引实现历史数据查询，响应时间小于1秒。
小比例尺船舶位置可视化
大比例尺船舶位置可视化
分时段的船舶轨迹回放
针对历史数据实现自定义区域内多时段的船舶位置查询和轨迹回放，同时保证船舶轨迹绘制的快速响应。通过SuperMap
iObjects for
Spark分布式计算框架，对已有的16亿条船舶历史数据进行数据抽稀和筛选预处理，生成时段（每小时）船舶最后位置的点数据集，通过ElasticSearch负责Spark处理结果集的持久化和快速检索支持，并提供通过时间轴动态模拟每天船舶位置。
船舶自定义时间段轨迹回放
船舶数量统计
实现对敏感区域的船舶数量统计和分布情况分析。
自定义区域和时间段内船舶分布和数量统计
超图大数据GIS解决方案在卫星跟踪船舶大数据项目中发挥 了重要作用：通过SuperMap GIS 9D大数据解决方案，实现该地面站空间大数据平台的建设工作，解决了用户一直以来对于海量数据的存储和可视化的问题，节约了用户数据存储和挖掘的成本；通过SuperMap iObjects for Spark实现了对用户海量历史数据的清洗，从属性和空间两个维度对历史数据进行过滤，提高了数据仓库中的数据质量；通过SuperMap iServer DataStore实现用户海量数据的分布式存储和高效的实时检索；通过SuperMap iClient 9D实现了时空大数据的可视化，用户可以直观的通过地图监控所属船舶的位置分布和轨迹追踪。
网友评论