DataX

该项目从阿里的DataX 而来，经过了精简和改造，说明如下

功能差别说明

精简

删除了仅限于阿里内部的数据库，这些数据库在非阿里集团无法使用，因此直接删除，包括：

• ADS
• DRDS
• OCS
• ODPS
• OSS
• OTS

增加

增加了部分插件，目前包括

reader plugin

1. clickhousereader
2. dbffilereader

writer plugin

1. dbffilewrite

增强

1. hdfswriter 增加了对ORC格式的支持
2. hdfswrite 增加了目录覆盖模式
3. hdfswriter 的临时目录位置改动为当前写入目录下的隐藏目录，解决了之前和写入目录平行导致的自动增加分区的问题
4. hdfswriter 在覆盖模式下，改进了文件删除机制，减少了对应表查询为空的时间窗口
5. hbasex11sqlwrite 增加了 Kerberos 支持
6. 尽可能减少了本地jar包的依赖，转为从maven仓库获取
7. 绝大部分依赖包升级到了最新稳定版本，减少了潜在漏洞
8. 不同插件下的相同依赖包做了版本统一

详细介绍

请参考：DataX-Introduction

快速开始

请点击：Quick Start

支持的数据库类型

类型	数据源	Reader(读)	Writer(写)	文档
RDBMS 关系型数据库	MySQL	√	√	读 、写
	Oracle	√	√	读 、写
	SQLServer	√	√	读 、写
	PostgreSQL	√	√	读 、写
	DRDS	√	√	读 、写
	通用RDBMS)	√	√	读 、写
NoSQL数据存储	DBF	√	√	读
	Hbase0.94	√	√	读 、写
	Hbase1.1	√	√	读 、写
	Phoenix4.x	√	√	读 、写
	Phoenix5.x	√	√	读 、写
	MongoDB	√	√	读 、写
	Hive	√	√	读 、写
无结构化数据存储	TxtFile	√	√	读 、写
	FTP	√	√	读 、写
	HDFS	√	√	读 、写
	Elasticsearch		√	写
时间序列数据库	OpenTSDB	√		读
	TSDB		√	写

License

This software is free to use under the Apache License Apache license.