HBase坑

作者: 你值得拥有更好的12138 | 来源:发表于2020-04-11 22:45 被阅读0次

HBase 坑

数据热点问题(rowkey 设计)

1.唯一性

2.散列性

3.长度原则

一般解决方案:

https://blog.csdn.net/menghuannvxia/article/details/53842320

过滤器使用问题

当要将PageFilter和其他Filter使用时,最好将PageFilter加入到FilterList的末尾,否则可能会出现结果个数小于你期望的数量。

http://blog.itpub.net/69917606/viewspace-2653829/

当使用singleColumnValueFilter时,过滤条件的字段值为空时,也被视为满足的条件

当某一行没有要过滤的字段时,SingleColumnValueFilter是默认这一行符合过滤条件的。

SingleColumnValueFilter f1 = new SingleColumnValueFilter(Bytes.toBytes(FAMILY), Bytes.toBytes("timestamp"), CompareOp.GREATER_OR_EQUAL, Bytes.toBytes(starttime));
SingleColumnValueFilter f2 = new SingleColumnValueFilter(Bytes.toBytes(FAMILY), Bytes.toBytes("timestamp"), CompareOp.LESS, Bytes.toBytes(endtime));
//重点在这两行
f1.setFilterIfMissing(true);  //true 跳过改行;false 通过该行
f2.setFilterIfMissing(true);

filters.add(f1);
filters.add(f2);



hbase SingleColumnValueFilter 列不存在 无法过滤

相关文章

  • HBase入坑须知(一)

    使用HBase时间也不短了,看到周围也有很多人逐步在应用HBase,于是打算总结一下HBase常见的坑,给新入坑的...

  • HBase坑

    HBase 坑 数据热点问题(rowkey 设计) 1.唯一性 2.散列性 3.长度原则 一般解决方案: http...

  • hbase-mutator踩坑

    spark-streaming消费kafka数据,采用buffermutator写hbase踩坑记 场景 otte...

  • hbase bulkload 踩坑

    最近天天在实验室捣鼓一个大数据的项目,前期虽说数据量不是很大,但也算是跑了一个11台机器的集群。在实施之前就预料到...

  • hbase delete 踩坑

    今日问题:发现delete操作不起作用 看如下的解释 删除指定的所有版本以及删除指定列 删除指定列的最新版本,意思...

  • Hbase踩坑记

    安装版本 Hbase版本 2.1.4Hadoop版本 2.9 异常 java.lang.IllegalStateE...

  • 小心hbck的-repair参数

    最近遇到一个使用hbck -repair修复HBase元数据遇到的坑,被坑得不清,周末都没休息好,时间全花在给hb...

  • 2022-10-30 EMR相关知识

    1. 参考文献 EMR(hadoop/hbase/phoenix夸集群数据迁移采坑记录) - 简书 (jiansh...

  • Hbase运行机制

    本文思路 Hbase是什么 Hbase的优劣 Hbase架构 Hbase容错 Hbase使用总结 HBase是什么...

  • Hadoop踩坑-Hbase篇

    Hadoop环境支持 hadoop 是Apache 软件基金会旗下的一个开源分布式计算平台。以hadoop 文件系...

网友评论

      本文标题:HBase坑

      本文链接:https://www.haomeiwen.com/subject/iltmmhtx.html