Skip to content
forked from tbs005/DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

License

Notifications You must be signed in to change notification settings

HashDataInc/DataX

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

Features

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX详细介绍

请参考:

System Requirements

Quick Start

请点击:Quick Start

Support Data Channels

目前DataX支持的数据源有:

Reader

Reader实现了从数据存储系统批量抽取数据,并转换为DataX标准数据交换协议,DataX任意Reader能与DataX任意Writer实现无缝对接,达到任意异构数据互通之目的。

RDBMS 关系型数据库

数仓数据存储

  • ODPSReader: 使用ODPS Tunnel SDK批量抽取ODPS数据。

NoSQL数据存储

无结构化数据存储

  • TxtFileReader: 读取(递归/过滤)本地文件。
  • FtpReader: 读取(递归/过滤)远程ftp文件。
  • HdfsReader: 针对Hdfs文件系统中textfile和orcfile文件批量数据抽取工具。
  • OssReader: 针对公有云OSS产品的批量数据抽取工具。
  • StreamReader

Writer


Writer实现了从DataX标准数据交换协议,翻译为具体的数据存储类型并写入目的数据存储。DataX任意Writer能与DataX任意Reader实现无缝对接,达到任意异构数据互通之目的。


RDBMS 关系型数据库

数仓数据存储

  • ODPSWriter: 使用ODPS Tunnel SDK向ODPS写入数据。
  • ADSWriter: 使用ODPS中转将数据导入ADS。

NoSQL数据存储

无结构化数据存储

  • TxtFileWriter: 提供写入本地文件功能。
  • OssWriter: 使用OSS SDK写入OSS数据。
  • HdfsWriter: 提供向Hdfs文件系统中写入textfile文件和orcfile文件功能。
  • StreamWriter

Contact us

请及时提出issue给我们。请前往:DataxIssue

About

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Java 96.3%
  • Python 3.6%
  • Shell 0.1%