美文网首页spark+hbase我爱编程
统计HBase表行数的四种方式

统计HBase表行数的四种方式

作者: 和腐朽说再见 | 来源:发表于2018-05-10 09:40 被阅读0次

有时候我们需要统计HBase表的行数,一般要么是写MR程序,要么是写SQL。以下就是可用的几种方式:

  • COUNT

HBase Shell自带的统计函数命令
hbase> count 't1'
hbase> count 't1',INTERVAL => 100000
hbase> count 't1', CACHE => 1000
hbase> count 't1', INTERVAL => 10, CACHE => 1000

注意:其中,INTERVAL为统计的行数间隔,默认为1000,CACHE为统计的数据缓存。这种方式效率很低,如果表行数很大的话不建议采用这种方式。

  • 调用MR

hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename'

解释:这种方式效率比上一种要高很多,调用的hbase jar中自带的统计行数的类。

  • Hive ON HBase

创建HiveHBase的关联表,将HBase当作Hive的外部表。

  • HBase已有表与Phoenix做映射
    只需在phoenix中添加同名表即可映射到hbase的同名表
    create table "demo"(
    "ROW" varchar primary key,
    "info"."name" varchar,
    "info"."address" varchar
    );
    然后再:
    select count(*) from "demo";

相关文章

  • 统计HBase表行数的四种方式

    有时候我们需要统计HBase表的行数,一般要么是写MR程序,要么是写SQL。以下就是可用的几种方式: COUNT ...

  • Hbase 面试题一

    Hbase 中如何统计一张表的行数最快? 方案一:分布式计算程序,读取 Hbase 数据,统计 rowkey 的个...

  • hbase统计表行数

    MapReduce hbase shell

  • HBase统计表行数的方法

    count命令 count ‘t1′count ‘t1′, INTERVAL => 100000count ‘t1...

  • 【HBase运维】利用HFile的元数据快速统计表的KV数量

    在运维HBase的过程中,经常会遇到用户有统计表的行数的需求,如果表的数量比较小,那么在shell 里面采用co...

  • HBase Shell操作

    HBase Shell是HBase的命令行工具,提供了对HBase的管理操作,可以对HBase中的表进行数据的增、...

  • HBase数据导入-ImportTsv

    ImportTsv进行数据导入有两种方式: ImportTsv介绍 将数据导入HBase,通常HBase用户会使用...

  • 玩转HBase快照

    常见的HBase数据迁移和备份的方式 我们知道目前HBase可以通过如下几种方式对数据进行数据的迁移和备份: 1、...

  • MYSQL复习笔记

    1,在 MySQL 中统计数据表的行数的三种方式:SELECT COUNT(*)、SELECT COUNT(1)和...

  • 统计所有表行数

    统计test数据库下所有的表的行数,生产统计语句。 然后将生成的sql拼接起来(去掉最后一个union all即可...

网友评论

    本文标题:统计HBase表行数的四种方式

    本文链接:https://www.haomeiwen.com/subject/laaarftx.html