Skip to content

Multi-container environment with Hadoop, Spark and Hive

Notifications You must be signed in to change notification settings

Thodler/docker-hadoop-spark

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Projet concessionnaire (Mise en situation)

Prerequis

  • Docker

Mise en place

Les commandes sont à executer à la racine du projet.

Téléchargement et installation de la stack technique

docker-compose up -d

Déploiment des datas

./init_import.sh

Ce script met en place tout le systeme des base avec le chargement de donnée et l'analyse. Pour simuler un autre traitement utiliser executer le script ./del_all_tables.sh, il supprime Le contenue de MongoDB et Cassandra. Et executer a nouveau ./init_import.sh pour les rechargers et actualiser les tables Hive

Outils

Hadoop & HDFS

Spark Worker

Jupiter

Interface

Pour accéder a l'interface jupiter vous devez recupérer un token:

 docker logs notebook

Le token est afficher dans l'URL montré dans les logs.

About

Multi-container environment with Hadoop, Spark and Hive

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Jupyter Notebook 94.5%
  • Python 2.4%
  • Shell 2.0%
  • Dockerfile 0.6%
  • HiveQL 0.2%
  • Makefile 0.2%
  • Other 0.1%