初识大数据

大数据的产生背景

1.信息技术的进步

人们浏览网页、购物、发邮件等行为都会产生数字信息。其中智能设备的持续普及是大数据快速增长的重要因素，存储设备性能的提高和网络宽带的增加都是信息技术的进步，它们为大数据的存储和流通提供了物质基础。

2.云计算的兴起

云计算技术可以将分散的数据集中在数据中心，是处理和分析海量数据成为可能，云计算技术为海量数据存储和访问提供了必要的空间和途径，是大数据诞生的基础技术

3.数据资源化的趋势

产业界的说法是数据是新时代的石油，各行各业都开始重视数据，单纯的海量数据是毫无价值的，只有通过必要手段对数据进行分析和挖掘才能显示其价值，促进大数据的诞生。我们将从“科技就是生产力”的时代迈向“数据就是生产力”的时代，数据着眼成为现代社会发展的资源，数据资源化的发展趋势是大数据诞生的直接驱动力

大数据的 4V 特征

1.量大（Volume）

存储量大，计算量大，大数据的起始计算单位至少 P、Z、E 这些单位

2.多样（Variety）

来源多，格式多，包括结构化、半结构化、非结构化的数据，具体表现为网络日志、视频、音频、图片、地理位置信息等等。多类型的数据对数据的处理能力提高了要求

3.快速（Velocity）

数据增长速度快，处理速度要求快

比如：搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐，这是大数据区别于传统数据挖掘显著特征

4.价值（Value）

价值密度低，和数据总量的大小成反比。但这些数据又很珍贵，随着互联网以及物联网的广泛引用，信息海量但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题

大数据的行业应用

医疗大数据、电商大数据、金融大数据、交通大数据、零售大数据等等

例 1：天猫双 11 大屏，核心技术就是大数据的实时计算，通过实时计算技术可以快速的对海量数据进行实时分析

例 2：智能车辆调度系统，可以根据站点滞留人数动态调整班次和发车间隔这样可以充分利用资源，可以让乘客以最快的速度坐上车，并且也不让车辆空跑，实现资源的最大化利用