English | 中文
-
招聘大数据平台开发工程师，想了解岗位详细信息可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发送简历至[email protected]
-
我们使用钉钉沟通交流，可以搜索群号[30537511]或者扫描下面的二维码进入钉钉群
FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。FlinkX目前包含下面这些特性：
-
大部分插件支持并发读写数据，可以大幅度提高读写速度；
-
部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复
-
关系数据库的Reader插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询
-
部分数据库支持开启Kerberos安全认证；Kerberos
-
可以限制reader的读取速度，降低对业务数据库的影响；
-
可以记录writer插件写数据时产生的脏数据；
-
可以限制脏数据的最大数量；
-
支持多种运行模式；
FlinkX目前支持下面这些数据库：
| Database Type | Reader | Writer | |
|---|---|---|---|
| Batch Synchronization | MySQL | doc | doc |
| Oracle | doc | doc | |
| SqlServer | doc | doc | |
| PostgreSQL | doc | doc | |
| DB2 | doc | doc | |
| GBase | doc | doc | |
| ClickHouse | doc | doc | |
| PolarDB | doc | doc | |
| SAP Hana | doc | doc | |
| Teradata | doc | doc | |
| Phoenix | doc | doc | |
| 达梦 | doc | doc | |
| Cassandra | doc | doc | |
| ODPS | doc | doc | |
| HBase | doc | doc | |
| MongoDB | doc | doc | |
| Kudu | doc | doc | |
| ElasticSearch | doc | doc | |
| FTP | doc | doc | |
| HDFS | doc | doc | |
| Carbondata | doc | doc | |
| Redis | doc | ||
| Hive | doc | ||
| Stream Synchronization | Kafka | doc | doc |
| EMQX | doc | doc | |
| MySQL Binlog | doc | ||
| MongoDB Oplog | doc | ||
| PostgreSQL WAL | doc |
FlinkX is under the Apache 2.0 license. See the LICENSE file for details.