写点什么

第十二章总结

用户头像
孤星
关注
发布于: 2021 年 01 月 10 日

第十二章架构总结:

本周主要是进行了大数据基础的讲解:从大数据的起源到 hadoop 的讲解最后带 hive 的讲解

hadoop 得三大框架 HDFS、MapReduce 和 yarn,HDFS 是文件存储系统,用于数据文件的存储,HDFS 相对来说适合于大文件的数据存储,文件一般配置 3 个存储备份节点, 保证数据的安全性,防止数据丢失。mapredce 则是计算数据的工具,虽然现在基本被 spark 和 flink 取代了。yarn 则是定时任务执行工具。


最后讲解 hive,利用 sql 实现数据查询等相关逻辑。

发布于: 2021 年 01 月 10 日阅读数: 13
用户头像

孤星

关注

还未添加个人签名 2019.02.11 加入

还未添加个人简介

评论

发布
暂无评论
第十二章总结