大数据课程笔记

用户头像
superman
关注
发布于: 2020 年 09 月 02 日

稍后整理

课程内容

大数据平台本身

大数据如何使用-在哪里使用

两周从架构的角度理解是如何设计的,原理,如何用

具体使用上手要再学习。会很快。

 

大数据概述

 

大数据没有明确的需求

--传统---产品|用户提出需求---研发实现

 

大数据

反过来,根据用户的行为,数据,能提供什么

比如头条,抖音---是研发驱动的,用户按照设计好的去使用

 

未来的方向--大数据,有追求

过去的系统结构的这些--这么多年并没有什么大发展。

分布式开发没有太多的进步空间了。大家都可以弄。

分布式计算的基础设施=云计算已经提供。

 

现在不会大数据是减分项

知识的广度,能力的广度,可以有更高的机会

 

大数据发展史

google的三篇文章

GFS,MapReduce,BigTable

分布式文件系统,分布式计算框架,NoSql数据库系统

 

 

大数据应用发展历史

最早数搜索引擎在使用

数据仓库时代--统计分析

   Hive --在Hadoop上进行sql操作。

  所有数据都可以存储

  所有人都可以提出分析需求,获得自己要的数据分析结果

数据挖掘时代

    信息间的关联性。

   推荐系统

   电商,头条。

  头条抓出这个点,内容的频率与倾向性更高。

 

机器学习时代

   旷世,阿尔法狗,智能汽车,智能音箱。

  真正应用开的是人脸识别,

   智能音箱--以后可能有更大的发展?

 

大数据应用领域

 

医学影像智能识别

    病理识别。

 

病历库,AI外语老师。

 

大数据风控

 

无人驾驶



用户头像

superman

关注

还未添加个人签名 2018.07.20 加入

还未添加个人简介

评论

发布
暂无评论
大数据课程笔记