大数据和 Hadoop 平台介绍

定义

大数据是指其大小和复杂性无法通过现有常用的工具软件，以合理的成本，在可接受的时限内对其进行捕获、管理和处理的数据集。这些困难包括数据的收入、存储、搜索、共享、分析和可视化。大数据要满足三个基本特征（3V），数据量（volume）、数据多样性（variety）和高速（velocity）。数据量指大数据要处理的数据量一般达到 TB 甚至 PB 级别。数据多样性指处理的数据包括结构化数据、非结构化数据（视频、音频、网页）和半结构化数据（xml、html）。高速指大数据必须能够快速流入并且能得到快速处理。

大数据发展背景

数据爆炸。伴随信息技术的应用，全球数据量呈几何级数增长。过去几年间的数据总量超过了人类历史上的数据总和。芯片、摄像头、各自传感器遍布世界各个角落，原本不能被感知的事物都可以被监测。软硬件技术的不断进步，也为处理大数据创造的条件。

大数据的应用领域

• 在公共领域，跨部门提供大数据服务，能大幅减少检索和处理时间。提高公共服务的效率。

• 企业通过收集产品在使用中产生的海量数据，进行分析，可以改善产品性能。

• 大数据能帮助企业对用户进行更加细化的区分，并针对用户的不同需求提供个性化的服务。这是营销和危机管理常用的办法。

• 利用自动化算法支持或替代人工决策。对大数据的分析能极大改善决策效果，降低风险，并挖掘出其他方法无法发现的宝贵信息。

• 商业模式、产品与服务创新。Netflix 根据大数据分析结果，制作《纸牌屋》。

大数据研究课题

1. 数据获取问题。包括哪些数据需要保存，哪些数据需要丢弃，如何可靠的存储我们需要的数据。

2. 数据结构问题。微博博客是没有结构的数据，图像和视频在存储和显示方面具有结构，但是无法包含语义信息进行检索。如果将没有语义的内容转换为结构化的格式，并进行后续处理，是需要面对的另一项挑战。

3. 数据集成问题。不同来源数据之间进行关联，才能充分发挥数据的作用。

4. 数据分析、组织、抽取和建模

5. 如何呈现分析结果

科技公司大数据产品

• 谷歌：MapReduce

• IBM：InfoSphere 大数据分析平台

• SAS：高性能分析服务器和 SAS DataFlux 数据流处理引擎

• EMC：Greenplum 支持海量并行处理

• Teradata：Aster Data 基于 MapReduce，提供了多种统计软件包

大数据发展趋势

• 数据资源化。大数据成为企业和社会关注的重要战略资源，并已经成为大家争相抢夺的焦点。

• 与云计算深度结合。大数据离不开云处理，云处理为大数据提供弹性可拓展的基础服务。

• 带动科学理论的突破。带动数据挖掘、机器学习、人工智能和数据科学等相关技术的发展。

大数据处理一般步骤

1. 数据的收集。

第一个方式是抓取或者爬取。例如搜索引擎就是这么做的：它把网上的所有的信息都下 载到它的数据中心，然后你一搜才能搜出来。

第二个方式是推送，有很多终端可以帮我收集数据。比如说小米手环，可以将你每天跑 步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。

1. 数据的传输

一般会通过队列方式进行，因为数据量实在是太大了，数据必须经过处理才会有用。可系统处理不过来，只好排好队，慢慢处理。

1. 数据的存储

存储要确保安全，不易丢失，高容错性。

1. 数据的处理和分析

存储的数据是原始数据，原始数据多是杂乱无章的，有很多垃圾数据在里面，因而需要清洗和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，或者发现数据之间的相互关系，得到知识。

1. 数据的检索和挖掘

使想要的信息容易被搜索到。挖掘信息之间的相互关系。

开源框架

因为大数据的这些特点，针对其收集、传输、存储、处理分析和检索使用产生了许多开源框架。

|功能|框架|

|--|--|

|文件存储|Hadoop HDFS、Tachyon、KFS|

|离线计算|Hadoop MapReduce、Spark|

|流式、实时计算|Storm、Spark Streaming、S4、Heron|

|K-V、NOSQL 数据库|HBase、Redis、MongoDB|

|资源管理|YARN、Mesos|

|日志收集|Flume、Scribe、Logstash、Kibana|

|消息系统|Kafka、StormMQ、ZeroMQ、RabbitMQ|

|查询分析|Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid|

|分布式协调服务|Zookeeper|

|集群管理与监控|Ambari、Ganglia、Nagios、Cloudera Manager|

|数据挖掘、机器学习|Mahout、Spark MLLib|

|数据同步|Sqoop|

|任务调度|Oozie|

一般大数据平台的框架如下图

Hadoop HDFS 和 Hadoop MapReduce 作为大数据存储和处理的开山鼻祖，大数据平台上都处于核心位置。下面介绍一下两个框架的基本原理。

Hadoop HDFS 基本原理

HDFS 全称 Hadoop Distributed File System。HDFS 是一个分布式文件系统，可以部署在一个服务器集群上。Java 语言开发，可以部署在任何支撑 java 的机器上。

HDFS 有几个基本概念 NameNode、DataNode 和 block。

NameNode 负责整个分布式文件系统的元数据管理，也就是文件路径名，数据 block 的 ID 以及存储位置等信息。还要记录一些事情，比如哪些节点是集群的一部分，某个 block 有几份副本等。

DataNode 是实际存储文件数据的节点。DataNode 会通过心跳和 NameNode 保持通信，如果 DataNode 超时未发送心跳，NameNode 就会认为这个 DataNode 已经失效，立即查找这个 DataNode 上存储的 block 有哪些，以及这些 block 还存储在哪些服务器上，随后通知这些服务器再复制一份 block 到其他服务器上，保证 HDFS 存储的 block 备份数符合用户设置的数目，即使再有服务器宕机，也不会丢失数据。

Block 是 HDFS 中的存储单元，文件被写入 HDFS 时，会被切分成多个 block 块，默认的块大小是 128MB，每个数据块默认会有三个副本。

数据写入：首先将文件分成多个 block，每个 block 会被写入三个 DataNode 中，写入哪三个 DataNode 中是由 NameNode 指定的，写入完成，NameNode 会记录这些信息。同一个文件中不同的 block 可能会被写入完全不同的 DataNode 中。

数据读取：数据读取时按 block 读取。每一个 block 时，会从 NameNode 获取信息，知道从哪个 DataNode 中读取，一般是就近原则。所有该文件的 block 读取完成，构成完整的文件。

客户端和 Datanode 是同一个机器：距离为 0 ，表示最近

客户端和 Datanode 是同一个机架的不同机器 ：距离为 2 ，稍微远一点

客户端和 Datanode 位于同一个数据中心的不同机架上 ：距离为 4，更远一点

Hadoop MapReduce 基本原理

Hadoop MapReduce 是一个分布式计算框架，其中的运算都可以在多个机器上并行进行。使用者只需要完成运算本身的编码，不需要关心并行计算的底层细节。

MapReduce 背后的思想很简单，就是把一些数据通过 Map 来归类，通过 Reduce 来把同一类的数据进行处理。Map 和 reduce 的过程都是利用集群的计算能力并行执行的。计算模型的核心是 Map 和 Reduce 函数，两个函数由用户自行实现。

把原始大数据集切割成小数据集时，通常小数据集小于等于 HDFS 的一个 block 的大小，这样一个小数据集位于一个物理机上，便于本地计算。Map 和 reduce 各自的启动任务数量可以由用户指定。

上图表示一个 MapReduce 统计单词出现次数的过程，原始数据分割为 4 个子文件，对每个子文件按照用户的 Map 函数会产生<单词, 出现次数>的<k2,v2>形式的结果。然后把相同单词的<k2,v2>组合在一起构成<k2,List(v2)>的形式，作为 Reduce 函数的输入，相同的 k2 一定分发给相同的 Reduce 任务处理，例如单词 lorem 的所有计算都由第一个 Reduce 任务来完成。按照这个思想，即使要统计的文件数量上千万个，单词数量有几千个，但是通过 MapReduce 框架，只要集群机器数量够多，也是可以在可接受时间内计算完成的。

大数据行业应用

• 互联网：定向广告、用户行为分析、内容推荐、搜索引擎优化

• 金融：反洗钱、反欺诈、客户价值分析、目标市场客户聚类、偿还能力预测、股票投资组合趋势分析

• 电信：业务设计优化、客户流失预测、网络质量优化

• 医疗卫生：临床数据比对、决策支持、就诊行为分析、疾病模式分析

• 公共安全：嫌疑人行为预测分析、恐怖活动检测、危险性分析、关系人分析

• 智慧交通：整个传感器、GPS 和健康视频等设备产生的海量数据，结合气象监测设备的天气状况数据、人口分布数据、移动通信数据，实现智能公共交通。

推广使用面临的挑战

• 少数机构对数据绝对垄断，大部分数据集中在这些机构内部。就像罕见病数据，只有通过共享机制和平台，才能为患者提供帮助。

• 大数据应用应该以尊重用户隐私为前提，同时如何兼顾数据的开放和创新，是大数据行业面临的一个重要问题。企业通过大数据来理解用户的特点和需求，需要充分尊重他们的隐私权。

• 现有的大数据架构无法保证数据本身不被篡改，因而限制了需要建立信任和确权的应用场景。诸如信用类的数据，如果没有办法确保数据的真实有效性，则很难运用在相关机构的决策流程中。