架构师训练营第十二周作业

在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

我主要从事金融行业，大数据主要用到数据可视化、灵活查询平台、精准营销平台、实时营销平台、客户全面风险预警、信贷工厂大数据服务、实时授信等；

价值：采用Hadoop+Linux+X86服务器的Big Data架构来建设大数据分析平台，提供分布式集群、线性可扩展、弹性计算的解决方案，解决金融机构在数据快速膨胀、非结构化数据越来越重要、外部数据越来越多等方面的挑战，为管理和营销提供数据支持，助力金融机构实现转型，大数据分析平台将全方位提升金融机构的能力，如数据管理、客户画像、精准营销、市场创新等



分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

map的输入是：key（文件偏移量）、value（文件中的每一行记录）

map的输出是：key（来自不同文件的标识）、value（page_view的value为<pageid,userid>的集合、user的value为<userid,age>的集合）

reduce的输入是：key（来自不同文件的标识）、value（page_view的value为<pageid,userid>的集合、user的value为<userid,age>的集合）

reduce的输出是：key（这里可以为任意值，或取page_view的标识，表示最终结果以该表为基础）、value（两表关联后的结果<pageid,age>）