看待大数据还需“大眼界”?

作者: 丨程序之道丨 | 来源:发表于2019-03-10 14:33 被阅读7次

当人们享受被电商的大数据“算计”而带来的方便和廉价时,有时也会陷入它是否有损实体经济、是否破坏个人隐私等担忧。纠结于此类担忧甚至争论,人们往往容易忽视大数据更宏大的意义:在促进传统行业升级改造、引领新兴产业 ( 爱基 , 净值 , 资讯 ) 和新兴应用蓬勃发展、提升社会运行和管理效率等方面,大数据正引发新一轮革命。人们看待大数据的眼光也亟待与时俱进。

传统产业大升级

“喷气式客机一起飞,就会产生海量数据,”清华大学信息技术研究院研究员薛一波接受新华社记者采访时介绍,“分析客机实时传输的大数据,可实时掌握飞机的运行状态,提前预警和发现潜在问题,采取预防、维修等措施,大大减少故障率。”

类似技术也应用在高铁上。薛一波说,以往铁路工人在铁轨上敲敲打打,通过声音检查问题;如今,高铁上的各种传感设备可实时传回车辆数据,通过大数据分析,即可实现故障预警、诊断、排查和定位,提高效率,降低成本。

他说,大数据分析可大幅提升传统行业的运行效率、降低运维成本、提升数据价值,在欧美等发达国家,工业大数据应用已非常普及。“大数据技术推动传统产业升级是必然的,”暨南大学信息学院/网络空间安全学院副院长郑力明对记者说,比如,德国积极推动包含工业大数据应用在内的“工业4.0”计划,正是要进一步促使工业生产与信息技术融合,使供应、制造、销售各环节智慧化。鉴于大数据更广泛的潜力,早在2012年,世界经济论坛就发布《大数据·大影响》报告指出,数据已成为一种像黄金和货币一样的经济资产。

如今,大数据巨大的商业价值正成为推动经济变革的新引擎。中国工信部已印发《大数据产业发展规划(2016-2020年)》,提出到2020年基本形成技术先进、应用繁荣、保障有力的大数据产业体系。大数据相关产品和服务业务收入将突破1万亿元人民币,年均复合增长率保持30%左右。“现在的突出问题,一是许多传统企业行业和机构缺乏新思维,没有意识到,甚至不清楚大数据这种战略资源的价值所在;二是缺乏机构间融合和深度合作,有数据的不知怎么用,会用的没有数据,因此需要打破条条框框、利益分割,共同促进大数据产业链的健康发展,”薛一波说,“除消费领域外,更多传统企业的大数据思维应成为行业共识。”

“天算”挖掘大价值

“人算不如天算,天算就是云计算,”阿里巴巴集团董事局主席马云日前在深圳IT领袖峰会上强调了云计算的重要。谷歌、微软、阿里巴巴和英特尔等科技巨头相继公布的季报均显示:云计算已成为这些技术巨头最大的增长引擎。

如今,说起大数据,人们往往会提到云计算,可云计算与大数据又是什么关系?可以说,大数据与云计算一个是问题,一个是解决问题的方法。在此我向大家推荐一个大数据技术交流圈: 658558542  突破技术瓶颈,提升思维能力 。

从问题看,当前社会的数据资源正呈指数级增长。薛一波说,2006年,个人用户才刚刚迈进TB(1TB相当于10的12次方字节)时代,而全球共新产生约180EB(1EB相当于10的18次方字节)数据;到了2011年,这个数字达到1.8ZB(1ZB相当于10的21次方字节)。有市场研究机构预测,到2020年,整个世界的数据总量将会达到35.2ZB。

对于如此大量的非结构数据,传统计算机分析已难以胜任,集分布式计算、效用计算、网络存储、虚拟化等为一体的云计算应运而生。通过云计算对大数据进行分析,才能释放出更多数据的隐藏价值。

“因此,从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分,”《大数据时代》作者、英国牛津大学教授维克托·迈尔-舍恩伯格这样解释。

他还认为,大数据要求人们改变对精确性的苛求,转而追求混杂性,并找出数据间的关联。这种思维的转变将是革命性的,而云计算是发现并征服这些巨量混杂性数据的“利器”。

去年7月,美国高德纳咨询公司曾估计,未来5年内IT产业将有超过1万亿美元支出,直接或间接促进企业向云计算领域转型。

与云计算相伴的是行业人才培养问题凸显。全球知名职业人士社交网站“领英”公布的最受雇主青睐且最抢手技能中,云计算排名第一。郑力明也指出,目前中国发展大数据和云计算最大的问题在于人才,尤其是企业界需要大量人才。

打通信息“大动脉”

统计显示,目前我国信息数据资源80%以上掌握在各级政府部门手里,“深藏闺中”造成极大浪费。一些地方和部门的信息化建设各自为政,形成“信息孤岛”和“数据烟囱”,给应用带来不便。

中国人民大学调查与数据中心副主任、社会学系副教授王卫东认为,数据开放意义重大。因为大数据最初是用数据模型采集的各种信息的总和,开放数据能帮助研究人员找到之前看来不相干的事物间的关联,然后据此找到更精确的计算参数。开放程度越高,参数设置和分析就会越精准,得出的信息参考价值越高。

正因如此,“开放数据”已成为一股世界性运动,各国政府则成为这场运动中最重要的对象。推动信息跨部门跨层级共享共用,加快推进公共数据资源向社会开放,已经成为政府工作的重要目标。

2015年中国国务院印发的《促进大数据发展行动纲要》明确指出,数据已成为国家的基础性战略资源,要大力推动政府信息系统和公共数据互联开放共享,加快政府信息平台整合,消除信息孤岛,推进数据资源向社会开放,增强政府公信力,引导社会发展,服务公众企业。

所谓信息化,不仅在于“有”,更在于“通”。尤其是在互联网时代,信息必须实现有效流通和共享,才谈得上“化”。当今世界,信息化发展不进则退。加强信息基础设施建设,强化信息资源深度整合,让大数据思维与时俱进,才能打通经济社会发展的信息“大动脉”。

感谢您的观看,如有不足之处,欢迎批评指正。

在此我向大家推荐一个大数据开发交流圈:

658558542    (☛点击即可加入群聊

里面整理了一大份学习资料,全都是些干货,包括大数据技术入门,大数据离线处理、数据实时处理、Hadoop 、Spark、Flink、推荐系统算法以及源码解析等,送给每一位大数据小伙伴,让自学更轻松。这里不止是小白聚集地,还有大牛在线解答!欢迎初学和进阶中的小伙伴一起进群学习交流,共同进步!

最后祝福所有遇到瓶颈的大数据程序员们突破自己,祝福大家在往后的工作与面试中一切顺利。

相关文章

  • 看待大数据还需“大眼界”?

    当人们享受被电商的大数据“算计”而带来的方便和廉价时,有时也会陷入它是否有损实体经济、是否破坏个人隐私等担忧。纠结...

  • 格局大的女人,都能做到这三点,好运自然相随

    追求精致生活的女人,往往格局也大。格局大的女人,眼界开阔,心胸豁达,能以达观的态度看待事物。 格局大的女人,因为十...

  • 眼界那么大

    怎么就舍不得扔掉有些友情呢。 和发小近20年的情谊,却偏偏不是最理解你的那一个,偶尔的自认为无意义的嘲讽,只会让我...

  • 大格局大眼界

    什么是真正的大格局 格局是一种眼界,更是一种大情怀。一个人有多大的格局,就有多大的胸襟。有什么样的眼界和胸襟,就能...

  • 一张门票,一个眼界

    眼界这个词,我刚开始理解为:小到一件事物,眼界是事物的外延。大到一个世界,我们看待它的广度。这让我想到了一句古语:...

  • 想学大数据?这些误区,你乱入了吗?

    继物联网、云计算之后,“大数据”成为热门科技概念。很多人认为“大数据”就是数据大?到底该如何看待大数据呢?还是...

  • 眼界大了,欲望小了

    看过很多文,有说满桶水不荡,半桶水直荡! 社会到底多复杂?人心多难琢磨? 何必活在猜忌别人的人生中,人就是要活出自...

  • 20221225分享

    人的格局一大,就不会在生活琐碎里沉沦。眼界放大,更容易站到更高角度看待问题,我们也会更加理性,更了解自己,更容易实...

  • 如何看待大数据?

    如何看待大数据?大数据开发是什么?俗话说的好:“三分技术,七分大数据”数据掌控一切,得数据者得天下。维克托·迈尔-...

  • 数据分析在宏观研究中的作用

    如何看待数据和模型(模型为大,数据次之) 模型是对现实世界的抽象,抓住主要矛盾/反馈环/逻辑,来解释和预测现实世界...

网友评论

    本文标题:看待大数据还需“大眼界”?

    本文链接:https://www.haomeiwen.com/subject/ncbupqtx.html