美文网首页
Kylin跨集群数据迁移

Kylin跨集群数据迁移

作者: 麦子星星 | 来源:发表于2019-10-16 15:27 被阅读0次

简单记录kylin数据及元数据迁移过程

1、备份kylin的元数据,在新的集群中恢复kylin的元数据(参考官网)

2、在源hbase的ui页面查看表的结构数据,在目标集群创建相关表信息

在目标集群hbase的cli中执行相关语句()

在目标hbase集群中创建源集群中相同结构的表信息

3、通过hbase export导出数据到源hdfs上(灾备脚本可以批量导出)

        hbase org.apache.hadoop.hbase.mapreduce.Export $table_name $backup_folder

3、hdfs dfs -get /xxx  将hbase数据拉取到本地xxxx.zip

4、将数据xxxx.zip数据上传到目标hdfs集群目录

5、将上步骤hdfs中的数据通过hbase import到hbase集群中

        hbase org.apache.hadoop.hbase.mapreduce.Import $table_name $backup_folder

6、更新hbase的coprocessor: $KYLIN_HOME/bin/kylin.sh      org.apache.kylin.storage.hbase.util.DeployCoprocessorCLI $KYLIN_HOME/lib/kylin-coprocessor-*.jar all

相关文章

  • Kylin跨集群数据迁移

    简单记录kylin数据及元数据迁移过程 1、备份kylin的元数据,在新的集群中恢复kylin的元数据(参考官网)...

  • hdfs文件迁移

    hadoop跨集群之间迁移HDFS数据 不同hadoop集群之间迁移hive数据 hadoop跨集群之间迁移hiv...

  • Apache Kylin 跨集群迁移

    0 背景 kylin 异地跨机房迁移,当前 kylin 使用情况如下:项目数:2cube 数:20+总数据量:20...

  • Elasticsearch数据迁移与集群容灾

    本文讨论如何跨集群迁移ES数据以及如何实现ES的同城跨机房容灾和异地容灾。 跨集群数据迁移 在ES的生产实践中,往...

  • HBase跨集群迁移调研方案

    HBase跨集群迁移调研方案回顾 迁移目的 HBase跨集群平滑迁移 方案 方案一 方案二 操作命令 snapsh...

  • 在线不停服迁移自建ES集群至腾讯云ES

    背景 在之前的文章Elasticsearch跨集群数据迁移之离线迁移中,我们介绍了如何在离线场景下把自建的ES集群...

  • Elasticsearch:跨集群数据迁移之离线迁移

    跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自...

  • 跨集群KDC数据迁移

    拷贝KDC A的数据追加到KDC B,使得在B集群节点可以通过认证访问A集群内的服务。 1 KDC A 将KDC...

  • ES:reindex中的坑

    吐槽一个ES-reindex迁移的大坑 在做ES跨集群迁移的时候,用到了ES的reindex进行数据迁移,查了很多...

  • 一篇文章教你自建hadoop集群迁移到EMR

    自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置...

网友评论

      本文标题:Kylin跨集群数据迁移

      本文链接:https://www.haomeiwen.com/subject/iukumctx.html