写点什么

架构师训练营第十二周作业

用户头像
叮叮董董
关注
发布于: 2020 年 09 月 02 日

在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

我主要从事金融行业,大数据主要用到数据可视化、灵活查询平台、精准营销平台、实时营销平台、客户全面风险预警、信贷工厂大数据服务、实时授信等;

价值:采用Hadoop+Linux+X86服务器的Big Data架构来建设大数据分析平台,提供分布式集群、线性可扩展、弹性计算的解决方案,解决金融机构在数据快速膨胀、非结构化数据越来越重要、外部数据越来越多等方面的挑战,为管理和营销提供数据支持,助力金融机构实现转型,大数据分析平台将全方位提升金融机构的能力,如数据管理、客户画像、精准营销、市场创新等



分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

map的输入是:key(文件偏移量)、value(文件中的每一行记录)

map的输出是:key(来自不同文件的标识)、value(page_view的value为<pageid,userid>的集合、user的value为<userid,age>的集合)

reduce的输入是:key(来自不同文件的标识)、value(page_view的value为<pageid,userid>的集合、user的value为<userid,age>的集合)

reduce的输出是:key(这里可以为任意值,或取page_view的标识,表示最终结果以该表为基础)、value(两表关联后的结果<pageid,age>)



用户头像

叮叮董董

关注

还未添加个人签名 2020.04.08 加入

还未添加个人简介

评论

发布
暂无评论
架构师训练营第十二周作业