架构师训练营第十二周笔记
本周开始学习大数据相关内容。
现有的大数据生态是在 Hadoop 出现以后开始逐步建立的,而 Hadoop 的理念则来源于 2004 年 Google 发表的三篇论文,也就是 GFS,MapReduce 和 BigTable。这里就建立了大数据平台的的基础。其中,HDFS 属于 GFS 的开源实现,完成了分布式文件存储的各种功能。MapReduce 则指明了分布式集群如何对数据进行切分和并行计算,Hadoop 负责实现这个计算任务的调度和执行。BigTable 采用列式来存储数据,解决传统数据库无法进行海量数据存储和查询的问题。
在 hadoop 的基础上,整个大数据生态就开始建立起来。有批处理的 mapredus,spark,也有基于流处理的 storm,spring streaming 和 Flink,也有基于列式存储的 NoSQL 数据库 cassandra 和 HBase。在基础的计算和存储产品丰富起来以后,越来越多的人享受大数据带来的红利。这个时候大数据仓库,如 Hive,SparkSQL 这些方便传统数据分析人员接入的工具应运而生。新兴的大数据挖掘和机器学习框架,如 TensorFlow,Caffe,MLib 也开始使用大数据来实现人工智能的进化。在此之上的生态也开始蓬勃发展,包括 DataLake 之类的平台也开始出现。
本周的笔记脑图如下:
![](https://static001.geekbang.org/infoq/12/12e32f69d69c6c898eedc4d730ee29d1.png)
版权声明: 本文为 InfoQ 作者【李日盛】的原创文章。
原文链接:【http://xie.infoq.cn/article/f045a220d036658a5ec033cdf】。文章转载请联系作者。
评论