美文网首页Hase我爱编程
Hbase如何设计Rowkey

Hbase如何设计Rowkey

作者: 明明德撩码 | 来源:发表于2018-05-11 16:32 被阅读99次

分析【话单数据分析】项目需求

用户需要进行实时的查询,那么这些数据是放在HBase当中的,每个客户每天接打电话至少20个左右,而通信公司拥有很多用户,每天产生的数据都是上亿条。

分析【话单数据分析】项目需求

分析上图得到以下结果:
上图中总通话127次,是查询在时间范围内的所有通话记录,可用count统计总数;日均9次:总数/天数;
累计约4时16分:累加在时间范围内的通话时间;日均9分钟:总通话时间/天数

分析【话单数据分析】项目需求

常联系的小伙伴功能中包含前10位常被联系的人,和前10位主动联系的人。并且各人都统计了次数。


分析【话单数据分析】项目需求

统计出通话次数最多的一天是4月3日


分析【话单数据分析】项目需求

  • 分析上面的功能需求,提取出需要的信息,主要包括以下几点:
    自己的号码:telphone
    拨打或接听时间:teltime
    区域:area
    主叫或被叫:active
    对方的号码:phone
    通话时长:talktime
    通话模式(国内或国外):mode
    费用:price
  • 而大部分功能的查询条件分析如下:
    telphone +(starttime - endtime),条件是:号码+开始时间——结束时间

设计Rowkey

  • 条件在上一章提过:号码+开始时间——结束时间,那么设计Rowkey就是telphone(电话号码)+teltime(通话时间)
    在表的Rowkey设计中:
  • 核心思想:
    • 依据Rowkey查询最快
    • 在实际的应用当中,就是对Rowkey进行范围查询range,Rowkey通常都是多个字段组成的。
    • Rowkey是前缀匹配的


相关文章

  • Hbase创建前缀布隆过滤器

    HBASE如何提升根据rowkey前缀扫描? 如果rowkey设计为: rowkey= #

  • Hbase 入门

    Hbase简介 参考:Hbase技术详细学习笔记 如何合理的设计HBase RowKey? Hbase是分布式、面...

  • HBase-interview-questions

    一 HBase存储结构 HBase结构图示 二 rowkey设计原则 1️⃣ rowkey长度原则 : 建议越短越...

  • Hbase如何设计Rowkey

    分析【话单数据分析】项目需求 用户需要进行实时的查询,那么这些数据是放在HBase当中的,每个客户每天接打电话至少...

  • HBase框架基础(五)

    * HBase框架基础(五) 本节主要介绍HBase中关于分区的一些知识。 * HBase的RowKey设计 我们...

  • Hbase rowkey设计

    hbase的rowkey设计决定了数据的分区和查询的方式,是使用hbase前一定要想清楚的,以下简单列举了设计hb...

  • hbase rowkey设计

    如果是随机访问,需要避免热点key都落到少数region上,需要打散,比如加上时间戳等随机数 但是如果经常需要扫描...

  • Hbase rowkey设计

    rowkey长度原则 rowkey是一个二进制码流,可以是任意字符串,最大长度 64kb ,实际应用中一般为10-...

  • Hbase rowkey 设计

    rowkey保证唯一rowkey类似于数据库中的主键,可以是一个字段或者多个字段拼接而成rowkey相同的记录被看...

  • Hbase rowKey 设计与预分区建表

    Hbase RowKey 设计 使用Spark或通过REST/API 方式存取Hbase,性能影响最大的因素在于H...

网友评论

    本文标题:Hbase如何设计Rowkey

    本文链接:https://www.haomeiwen.com/subject/hbgfdftx.html