架构师训练营第 12 周作业
在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?
答:我目前所做的项目叫《机电管家》,是基于物联网技术的机电设备管理系统,机电管家通过采集机电设备数据,实时监测机电设备的运行情况,当机电设备发生故障时系统会自动告警,并生成故障单,通知运维人员去现场处理。
但运行监测只解决设备已经发生故障的情况,当设备发生故障时,已经给生产和安全带来了较大的影响,我们通过对采集到的设备历史数据进行大数据分析,可以提前感知设备故障,从而提前排查故障隐患,降低设备停机时间,使得维护变得更加智能和可靠。也就是业界常说的“预测性维护”(Predictive Maintenance:PDM)
分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?
答:
Map1输入为page_view表行记录
Map2输入为user表行记录。
Map1输出为:Key:userId,Value:<1(表1),pageid>
Map2输出为:key:userId,Value:<2(表2),age>
Reduce输入为:排序后的Key:userId,Value:<表id,pageid>
Reduce输出为:<pageid,age>
评论