【架构师训练营第 1 期 12 周】 学习总结

【架构师训练营第 1 期 12 周】 学习总结



这周根据老师讲解的大数据技术，从谷歌的三篇论文：分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据系统BigTable。奠定了理论基础，然后百花齐放，各种技术层出不穷。





从技术发展看来，从单体MySQL发展到主从MySQL，再到NoSQL、ES和HDFS之类的存储大量的数据。如果是需要批处理的计算就是MapReduce之类工具进行大量计算，建立企业的数据仓数据湖，即使前台或者中台系统更新迭代，数据也还是会可以在企业一直保留使用。如果是需要不断计算得到结果的，就是用Flink之类的做计算，实现动态推荐，比如现在很火热的机器学习。

而业界里面大数据应用比较出名的有之前淘宝的千人千面个性化推荐，后有今日头条、抖音的内容推荐。当然这些系统都有从其它渠道捕获用户的行为数据，比如粘贴板和麦克风，收集用户的趋势。从企业的角度来说从原本的信息化，到建立数据仓库实现数据化，用数据来辅助运营。再到以后通过数据挖掘和建模分析，发现经营问题或者寻找增长点。未来大有可为。