12.1 大数据技术发展史
1.狭义大数据:Hadoop
2.广义大数据:
机器学习,数据分析,数据挖掘,人工智能,数据可视化,大数据应用,大数据商业化。
大数据“三驾马车”--Google三篇论文:分布式文件系统GFS,大数据计算框架MapReduce,NoSQL数据库系统BigTable。
搜索引擎:网页抓取,索引构建排序。这两件事过程中,有大量数据需要存储和计算。
三驾马车,解决问题:文件系统,计算框架,数据库系统
Spark:迭代次数多的机器学习算法---分布式计算引擎-----批处理运算------离线运算。
MapReduce:大数据计算框架----计算效率低下-----------批处理运算------离线运算
实时大数据处理:Storm,Flink,Spark Streaming--------实时流计算------在线运算
NoSQL存储。
2.大数据应用发展史
大数据应用的搜索时代-----------Google,yahoo,百度
大数据应用的仓库时代-----------
大数据应用的数据挖掘时代------
大数据应用的机器学习时代--------
3.大数据应用领域
医学影像智能识别
病历大数据智能诊疗
AI外语老师:语音识别和语音合成
智能结题
舆情监控与分析
大数据风控
新零售
无人驾驶
评论