美文网首页
DataX使用

DataX使用

作者: 小甜瓜Melon | 来源:发表于2017-09-01 14:35 被阅读0次

参考:阿里云开源离线同步工具DataX3.0介绍
https://github.com/alibaba/DataX/wiki/DataX-Introduction

需求:数据库中从源数据机器A Hive到另外一个目标机器B中的 Hive。

  1. 步骤一、在B机器建表。
  2. 配置json文件,注意格式之间的对应关系。先要分析数据是从什么工具到什么工具,即分清每一次的reader和writer。hive和DataX参见
image.png


在reader只能写dataX的数据形式(左侧),在writer只能写hive表数据类型。配置完成。

  1. 使用datax.py文件运行json文件即可。

相关文章

网友评论

      本文标题:DataX使用

      本文链接:https://www.haomeiwen.com/subject/adtkjxtx.html