本课程以“慕课网日志分析”这一大数据应用案例为主线,使用慕课网真实日志,以目前主流的、最新的Spark稳定版2.1.x为基础,依次介绍相关的大数据技术:Hadoop、Hive、Spark SQL,涉及数据清洗、统计存储、处理入库以及数据可视化(Echarts、Zeppelin),最终会形成一个完整的大数据项目。
1 Spark项目:ImoocSparkSQLProject ---> Spark sql + hadoop + hive
2 Scala学习项目:ScalaLearing ---> scala学习
3 可视化演示:SparkWeb ---> echarts + Zeppelin可视化显示