架构师训练营 Week12 学习总结

大数据应用领域

医学影像智能识别、病历大数据智能诊疗、AI外语老师、智能解题、舆情监控与分析、大数据风控、新零售

无人驾驶

Hadoop演变之路:

在Hadoop 早期，MapReduce既是一个执行引擎，又是一个资源调度

框架，服务器集群的资源调度管理由MapReduce自已完成。

2012年,Yarn成为一个独立的项目开始运营

2012年Spark开始崭露头角

大数据存储又涉及到HDFS.

不适合HDFS的场景

低延迟的数据访问、大量小文件、多用户随机写入修改文件

HDFS角色：NameNode和DataNode

HDFS 高可用



MapReduce

大规模数据处理：移动计算比移动数据更划算，分而治之思想的应用

适合MapReduce的计算类型：TopK、K-means、Bayes、SQL



Yarn包括两个部分：资源管理器、节点管理器