MapReduce将数据分解成子集，在不同机器上分开处理，并把结果集合起来，从而处理大数据的泛化框架。
Hadoop是MapReduce的一种实现，类似于C++是面向对象编程的实现一样。
NoSQL-Not Only SQL，技能能更新颖，更高效地访问(如MapReduce)数据的数据库或数据库管理系统
Spark 由一个驱动程序构成，它运行用户的 main 函数并在聚类上执行多个并行操作。Spark 最吸引人的地方在于它提供的弹性分布数据集（RDD），那是一个按照聚类的节点进行分区的元素的集合，它可以在并行计算中使用。RDDs 可以从一个 Hadoop 文件系统中的文件（或者其他的 Hadoop 支持的文件系统的文件）来创建，或者是驱动程序中其他的已经存在的标量数据集合，把它进行变换。用户也许想要 Spark 在内存中永久保存 RDD，来通过并行操作有效地对 RDD 进行复用。最终，RDDs 无法从节点中自动复原。
- 离线数据处理: hadoop / hbase / cassandra
- 在线数据处理：storm / s4
- 跨语言通信：thrift / proobuf / avro, elephant bird
- 一致性：zoo keeper / chubby
- 数据查看：hive / pig
- 数据传输：scribe
按照马云的说法，现在已经从IT时代进入了DT时代，这个地方的DT强调的就是大数据。
目前大数据的应用非常广泛，从资讯分发到视频娱乐，大数据无处不在。
目前大数据已经成为了热门投资方向之一，在资本的大力支持下，
大数据产业快速发展，预计到2020年中国大数据产业规模或超过万亿。
在重视数据的今天，大数据行业必定会成为2019年的创业风口。
computational advertising reading list (计算广告阅读）
Big Data 大数据/数据挖掘/推荐系统/机器学习相关资源
- 收集 -> 加工 -> 变现 -> 交易
- 收集：不同行业不同的收集方式，传感器自动收集
- 加工：用户画像，将原始数据转化成业务所需要的数据
- 变现：已有成熟的互联网解决方案，流量和数据变现
现在大数据--5V特征
- 速度V(velocity)(实时，快速流动)、
- 多样化V(variety)(结构化，非结构化如微博内容)、
- 大数据量(volume)、
- 真实性(veracity)、
- 价值(value)
数据科学家=数据+科学+艺术家=用数据和科学从事艺术创作的人
一些数据科学应用的领域
- 分析NASA的照片，寻找新的行星和小行星 -- 图像处理?
- 自动报价系统 ?
- 自动驾驶
- Amazon上或FB推荐书，朋友 -- 推荐系统
- 针对所有酒店客房的客户定制(实时)定价系统 ???
- 流行病的早期检测
- (实时)估计美国所有房屋价值(Zillow.com)
- 高频交易
- 税收欺诈监测，恐怖行为检测
- 信用卡交易评分(欺诈检测)
- 计算广告 计算广告-在线广告市场与背景 -- 计算广告-在线广告商品逻辑-- 重读计算广告--计算广告笔记
必备技能
- 1、 机器学习，统计学技能是基础
- 2、 领域知识
- 3、 分布式计算
核心能力：
- 1、 统计学基本准则
- 2、 机器学习建模能力
- 3、 模型最优化
- 4、 大数据工具、编程能力
- 5、 领域知识学习能力