美文网首页
关系型数据库 VS MapReduce

关系型数据库 VS MapReduce

作者: 大炮对着虫子 | 来源:发表于2018-10-31 10:44 被阅读11次
寻址时间 VS 数据流传输

为什么我们不通过增加关系型数据库的磁盘数量容量来进行大规模的数据分析,而采用MapReduce?这个问题主要有一,磁盘的另一个发展趋势: 寻址时间的提高远远慢于传输速率的提高。寻址是将磁头移动到特定磁盘位置进行读写操作的过程。它是导致磁盘操作延迟的主要原因,因而传输速率取决于磁盘的带宽。 即是说, 如果数据的访问模式中包含大量的磁盘寻址,那么读取大量数据集所化的时间势必会更长(相较于流式数据读取模式),流式读取主要取决于传输速率。

大量数据更新

另一方面,如果数据库系统只更新一小部分记录,那么传统的B树更有优势。但数据库系统更新大部分数据时,B树的效率比MapReduce低得多,因为需要使用“排序/合并”来重建数据库。

数据结构化程度

MapReduce 和关系型数据库之间的另一个区别在于它们所操作的数据集的结构化程度结构化数据是具有既定格式的实体化数据,诸如XML文档、Json或满足特定预定义格式的数据表。这是RDBMS包括的内容。另一方面半结构化数据比较松散,虽然可能有格式,但经常被忽略,所以它只能用作对数据结构的一般指导。例如,一张电子表格,其结构是由单元格组成的网格,但是每个单元格自身可保存任何形式的格式。非结构化数据没有什么特别的内部结构,例如纯文本的或图像数据。MapReduce对于非结构化或半结构化数据非常有效,因为在处理数据时才对数据进行解释。换句话说,MapReduce输入的键和值并不是数据固有的属性,而是由分析数据的人员来选择的。
MapReduce也可以通过hive进行类似sql的数据操作,这点和关系型数据库是类似的。

mapreduce.png 最后总结.png

相关文章

  • 关系型数据库 VS MapReduce

    寻址时间 VS 数据流传输 为什么我们不通过增加关系型数据库的磁盘数量容量来进行大规模的数据分析,而采用MapRe...

  • Hbase

    就是一数据库但是,是非关系型数据库(NoSql)【关系型数据库 vs 非关系型数据库(自行了解)】 特点 高可...

  • 模板项目:Flask + LeanCloud + 阿里云Cent

    选择后台 关系型数据库 VS 非关系型数据库? 传统Mysql,sqlite等非关系型数据库数据类型局限,如今网页...

  • 关系型数据库与非关系型数据库NoSql

    关系型数据库和非关系型区别 1. SQL VS NoSQLSQL 关系型数据库是规范化语言,它有固定的表结构,不容...

  • 黑猴子的家:Spark SQL 的背景故事

    1、Spark SQL的前身是Shark。 为了给熟悉RDBMS(关系型数据库)但又不理解MapReduce的技术...

  • Hive(一)

    Hive产生背景 (1) 从开发、测试、需求变更角度来看,MapReduce编程不方便 (2) 传统关系型数据库人...

  • 关系型数据库和MapReduce

    简书 賈小強转载请注明原创出处,谢谢! 关系型数据库被广泛应用在数据存储检索,而以MapReduce为基础的大数据...

  • Hadoop YARN学习笔记

    一.Hadoop概述 Hadoop处理的问题和关系型数据库的对比: 一个MapReduce作业包含了输入数据,Ma...

  • 数据库的分类和常见的数据库

    分类:关系型数据库和非关系型数据库常见的关系型数据库有:mysqlOracleSQLserver 非关系型数据库:...

  • 简述关系型数据库和非关系型数据库

    当前数据库分为关系型数据库和非关系型数据库 关系型数据库 关系型数据库:指采用了关系模型来组织数据的数据库。关系模...

网友评论

      本文标题:关系型数据库 VS MapReduce

      本文链接:https://www.haomeiwen.com/subject/jopotqtx.html