写点什么

大数据和 Hadoop 平台介绍

发布于: 2020 年 11 月 22 日
大数据和Hadoop平台介绍

大数据和 Hadoop 平台介绍

定义

大数据是指其大小和复杂性无法通过现有常用的工具软件,以合理的成本,在可接受的时限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分析和可视化。大数据要满足三个基本特征(3V),数据量(volume)、数据多样性(variety)和高速(velocity)。数据量指大数据要处理的数据量一般达到 TB 甚至 PB 级别。数据多样性指处理的数据包括结构化数据、非结构化数据(视频、音频、网页)和半结构化数据(xml、html)。高速指大数据必须能够快速流入并且能得到快速处理。

大数据发展背景

数据爆炸。伴随信息技术的应用,全球数据量呈几何级数增长。过去几年间的数据总量超过了人类历史上的数据总和。芯片、摄像头、各自传感器遍布世界各个角落,原本不能被感知的事物都可以被监测。软硬件技术的不断进步,也为处理大数据创造的条件。


大数据的应用领域

  • 在公共领域,跨部门提供大数据服务,能大幅减少检索和处理时间。提高公共服务的效率。

  • 企业通过收集产品在使用中产生的海量数据,进行分析,可以改善产品性能。

  • 大数据能帮助企业对用户进行更加细化的区分,并针对用户的不同需求提供个性化的服务。这是营销和危机管理常用的办法。

  • 利用自动化算法支持或替代人工决策。对大数据的分析能极大改善决策效果,降低风险,并挖掘出其他方法无法发现的宝贵信息。

  • 商业模式、产品与服务创新。Netflix 根据大数据分析结果,制作《纸牌屋》。


大数据研究课题

  1. 数据获取问题。包括哪些数据需要保存,哪些数据需要丢弃,如何可靠的存储我们需要的数据。

  2. 数据结构问题。微博博客是没有结构的数据,图像和视频在存储和显示方面具有结构,但是无法包含语义信息进行检索。如果将没有语义的内容转换为结构化的格式,并进行后续处理,是需要面对的另一项挑战。

  3. 数据集成问题。不同来源数据之间进行关联,才能充分发挥数据的作用。

  4. 数据分析、组织、抽取和建模

  5. 如何呈现分析结果


科技公司大数据产品

  • 谷歌:MapReduce

  • IBM:InfoSphere 大数据分析平台

  • SAS:高性能分析服务器和 SAS DataFlux 数据流处理引擎

  • EMC:Greenplum 支持海量并行处理

  • Teradata:Aster Data 基于 MapReduce,提供了多种统计软件包


大数据发展趋势

  • 数据资源化。大数据成为企业和社会关注的重要战略资源,并已经成为大家争相抢夺的焦点。

  • 与云计算深度结合。大数据离不开云处理,云处理为大数据提供弹性可拓展的基础服务。

  • 带动科学理论的突破。带动数据挖掘、机器学习、人工智能和数据科学等相关技术的发展。


大数据处理一般步骤

  1. 数据的收集。

第一个方式是抓取或者爬取。例如搜索引擎就是这么做的:它把网上的所有的信息都下 载到它的数据中心,然后你一搜才能搜出来。

第二个方式是推送,有很多终端可以帮我收集数据。比如说小米手环,可以将你每天跑 步的数据,心跳的数据,睡眠的数据都上传到数据中心里面。


  1. 数据的传输

一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用。可系统处理不过来,只好排好队,慢慢处理。


  1. 数据的存储

存储要确保安全,不易丢失,高容错性。


  1. 数据的处理和分析

存储的数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。


  1. 数据的检索和挖掘

使想要的信息容易被搜索到。挖掘信息之间的相互关系。


开源框架

因为大数据的这些特点,针对其收集、传输、存储、处理分析和检索使用产生了许多开源框架。

|功能|框架|

|--|--|

|文件存储|Hadoop HDFS、Tachyon、KFS|

|离线计算|Hadoop MapReduce、Spark|

|流式、实时计算|Storm、Spark Streaming、S4、Heron|

|K-V、NOSQL 数据库|HBase、Redis、MongoDB|

|资源管理|YARN、Mesos|

|日志收集|Flume、Scribe、Logstash、Kibana|

|消息系统|Kafka、StormMQ、ZeroMQ、RabbitMQ|

|查询分析|Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid|

|分布式协调服务|Zookeeper|

|集群管理与监控|Ambari、Ganglia、Nagios、Cloudera Manager|

|数据挖掘、机器学习|Mahout、Spark MLLib|

|数据同步|Sqoop|

|任务调度|Oozie|

一般大数据平台的框架如下图

Hadoop HDFS 和 Hadoop MapReduce 作为大数据存储和处理的开山鼻祖,大数据平台上都处于核心位置。下面介绍一下两个框架的基本原理。

Hadoop HDFS 基本原理

HDFS 全称 Hadoop Distributed File System。HDFS 是一个分布式文件系统,可以部署在一个服务器集群上。Java 语言开发,可以部署在任何支撑 java 的机器上。

HDFS 有几个基本概念 NameNode、DataNode 和 block。

NameNode 负责整个分布式文件系统的元数据管理,也就是文件路径名,数据 block 的 ID 以及存储位置等信息。还要记录一些事情,比如哪些节点是集群的一部分,某个 block 有几份副本等。

DataNode 是实际存储文件数据的节点。DataNode 会通过心跳和 NameNode 保持通信,如果 DataNode 超时未发送心跳,NameNode 就会认为这个 DataNode 已经失效,立即查找这个 DataNode 上存储的 block 有哪些,以及这些 block 还存储在哪些服务器上,随后通知这些服务器再复制一份 block 到其他服务器上,保证 HDFS 存储的 block 备份数符合用户设置的数目,即使再有服务器宕机,也不会丢失数据。

Block 是 HDFS 中的存储单元,文件被写入 HDFS 时,会被切分成多个 block 块,默认的块大小是 128MB,每个数据块默认会有三个副本。

数据写入:首先将文件分成多个 block,每个 block 会被写入三个 DataNode 中,写入哪三个 DataNode 中是由 NameNode 指定的,写入完成,NameNode 会记录这些信息。同一个文件中不同的 block 可能会被写入完全不同的 DataNode 中。

数据读取:数据读取时按 block 读取。每一个 block 时,会从 NameNode 获取信息,知道从哪个 DataNode 中读取,一般是就近原则。所有该文件的 block 读取完成,构成完整的文件。

客户端和 Datanode 是同一个机器:距离为 0 ,表示最近

客户端和 Datanode 是同一个机架的不同机器 :距离为 2 ,稍微远一点

客户端和 Datanode 位于同一个数据中心的不同机架上 :距离为 4,更远一点


Hadoop MapReduce 基本原理

Hadoop MapReduce 是一个分布式计算框架,其中的运算都可以在多个机器上并行进行。使用者只需要完成运算本身的编码,不需要关心并行计算的底层细节。

MapReduce 背后的思想很简单,就是把一些数据通过 Map 来归类,通过 Reduce 来把同一类的数据进行处理。Map 和 reduce 的过程都是利用集群的计算能力并行执行的。计算模型的核心是 Map 和 Reduce 函数,两个函数由用户自行实现。

把原始大数据集切割成小数据集时,通常小数据集小于等于 HDFS 的一个 block 的大小,这样一个小数据集位于一个物理机上,便于本地计算。Map 和 reduce 各自的启动任务数量可以由用户指定。

上图表示一个 MapReduce 统计单词出现次数的过程,原始数据分割为 4 个子文件,对每个子文件按照用户的 Map 函数会产生<单词, 出现次数>的<k2,v2>形式的结果。然后把相同单词的<k2,v2>组合在一起构成<k2,List(v2)>的形式,作为 Reduce 函数的输入,相同的 k2 一定分发给相同的 Reduce 任务处理,例如单词 lorem 的所有计算都由第一个 Reduce 任务来完成。按照这个思想,即使要统计的文件数量上千万个,单词数量有几千个,但是通过 MapReduce 框架,只要集群机器数量够多,也是可以在可接受时间内计算完成的。


大数据行业应用

  • 互联网:定向广告、用户行为分析、内容推荐、搜索引擎优化

  • 金融:反洗钱、反欺诈、客户价值分析、目标市场客户聚类、偿还能力预测、股票投资组合趋势分析

  • 电信:业务设计优化、客户流失预测、网络质量优化

  • 医疗卫生:临床数据比对、决策支持、就诊行为分析、疾病模式分析

  • 公共安全:嫌疑人行为预测分析、恐怖活动检测、危险性分析、关系人分析

  • 智慧交通:整个传感器、GPS 和健康视频等设备产生的海量数据,结合气象监测设备的天气状况数据、人口分布数据、移动通信数据,实现智能公共交通。


推广使用面临的挑战

  • 少数机构对数据绝对垄断,大部分数据集中在这些机构内部。就像罕见病数据,只有通过共享机制和平台,才能为患者提供帮助。

  • 大数据应用应该以尊重用户隐私为前提,同时如何兼顾数据的开放和创新,是大数据行业面临的一个重要问题。企业通过大数据来理解用户的特点和需求,需要充分尊重他们的隐私权。

  • 现有的大数据架构无法保证数据本身不被篡改,因而限制了需要建立信任和确权的应用场景。诸如信用类的数据,如果没有办法确保数据的真实有效性,则很难运用在相关机构的决策流程中。


发布于: 2020 年 11 月 22 日阅读数: 178
用户头像

总结 分享 收获 2020.08.17 加入

公众号“MySQL从删库到跑路”作者 最纯粹的技术 最高级的享受

评论

发布
暂无评论
大数据和Hadoop平台介绍