大数据课程笔记

稍后整理

课程内容

大数据平台本身

大数据如何使用-在哪里使用

两周从架构的角度理解是如何设计的，原理，如何用

具体使用上手要再学习。会很快。

大数据概述

大数据没有明确的需求

--传统---产品|用户提出需求---研发实现

大数据

反过来，根据用户的行为，数据，能提供什么

比如头条，抖音---是研发驱动的，用户按照设计好的去使用

未来的方向--大数据，有追求

过去的系统结构的这些--这么多年并没有什么大发展。

分布式开发没有太多的进步空间了。大家都可以弄。

分布式计算的基础设施=云计算已经提供。

现在不会大数据是减分项

知识的广度，能力的广度，可以有更高的机会

大数据发展史

google的三篇文章

GFS,MapReduce,BigTable

分布式文件系统，分布式计算框架，NoSql数据库系统

。

大数据应用发展历史

最早数搜索引擎在使用

数据仓库时代--统计分析

   Hive --在Hadoop上进行sql操作。

  所有数据都可以存储

  所有人都可以提出分析需求，获得自己要的数据分析结果

数据挖掘时代

    信息间的关联性。

   推荐系统

   电商，头条。

  头条抓出这个点，内容的频率与倾向性更高。

机器学习时代

   旷世，阿尔法狗，智能汽车，智能音箱。

  真正应用开的是人脸识别，

   智能音箱--以后可能有更大的发展？

大数据应用领域

医学影像智能识别

    病理识别。

病历库，AI外语老师。

大数据风控

无人驾驶