第十二周课后作业

在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

按行业分类：

1. 制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

2. 金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

3. 汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。

4. 互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

5. 电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

6. 能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

7. 物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

8. 城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

9. 生物医学，大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读 DNA,了解更多的生命奥秘。

10. 体育娱乐，大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。

11. 安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

12. 个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

按场景分类如下：

1. 大数据离线分析场景

通常是指对海量数据进分析和处理，形成结果数据，供下一步数据应用使用。离线处理对处理时间要求不高，但是所处理数据量较大，

占用计算存储资源较多，通常通过 MR 或者 Spark 作业或者 SQL 作业实现。

离线分析系统架构中以 HDFS 分布式存储软件为数据底座，计算引擎以基于 MapReduce 的 Hive 和基于 Spark 的 SparkSQL 为主。

应用场景：集市应用，仓库应用，数据集市，数据仓库等。

2. 大数据实时检索场景

提供可弹性扩展、低时延、高吞吐的高性能计算资源，支持业界主流的实时分析业务平台，结合大带宽、支持多种协议的对象存储服务，提升实时分析业务整体资源利用率。

应用场景：轨迹查询，日志查询，话费查询等。

3. 大数据实时流处理场景

常指对实时数据源进行快速分析，迅速触发下一步动作的场景。实时数据对分析处理速度要求极高，数据处理规模巨大，对 CPU 和内存要求很高，但是通常数据不落地，

对存储量要求不高。实时处理，通常通过 Storm、Spark Streaming 或者 Flink 任务实现。

数据采集通过分布式消息系统 Kafka 实时发送到分布式流计算引擎 Flink、Storm、Spark Streaming 进行数据处理，结果存储 Redis 为上层业务提供缓存。

应用场景：比如金融反欺诈业务等。