第十二章总结
第十二章架构总结:
本周主要是进行了大数据基础的讲解:从大数据的起源到 hadoop 的讲解最后带 hive 的讲解
hadoop 得三大框架 HDFS、MapReduce 和 yarn,HDFS 是文件存储系统,用于数据文件的存储,HDFS 相对来说适合于大文件的数据存储,文件一般配置 3 个存储备份节点, 保证数据的安全性,防止数据丢失。mapredce 则是计算数据的工具,虽然现在基本被 spark 和 flink 取代了。yarn 则是定时任务执行工具。
最后讲解 hive,利用 sql 实现数据查询等相关逻辑。
版权声明: 本文为 InfoQ 作者【孤星】的原创文章。
原文链接:【http://xie.infoq.cn/article/80f343c98df308793c6f9f96c】。文章转载请联系作者。
评论