YangDocker

自助搭建的 hadoop + spark + kafka + zookeeper + storm + hbase + hive + flume + mysql + redis 集群，一主两从。

操作指南

先将项目 clone 到本地，然后进入目录，然后运行：

bash ./image.sh

然后等待，构建所有的相关镜像。

操作系统

ubuntu:16.04

工具包

Hadoop 2.6：下载地址

Hive 1.2.2：下载地址

kafka 2.11：下载地址

JDK 1.8：下载地址

scala 2.11.4：下载地址

spark 1.6.0：下载地址

zookeeper 3.4.5：下载地址

hbase 0.98.6：下载地址

flume 1.6.0：下载地址

mysql-connector 5.1.41：下载地址

redis 2.8.3：下载地址

storm 0.9.3：下载地址

注意

因为所有的环境/安装包都是临时下载的，所以构建过程速度较慢，镜像较大。

其他

欢迎 issue。

参考

1. 利用Docker搭建大数据处理集群