架构师训练营 - 作业 - 第十二周
1. 你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?
我所在的是医疗行业,目前大数据、机器学习等都有相关专家涉及。
我所知道的医疗行业应用大数据的主要场景为:医疗设备厂商与定点医院建立合作关系,卖设备+软件给医院;医院每天采集病患数据,数据经过脱敏处理后,发给医疗设备厂商做大数据、机器学习研究;研究到一定阶段,算法比较稳定成熟了(比较精准识别大部分常见病灶),就可以把这套解决方案拿出来卖钱了,比如:与医院合作建立胸痛中心大数据平台,各种医疗设备采集上来的数据先到这个大数据平台中进行识别,如果异常,那就报警,并发送给相关医生进行及时处理。
大数据平台共享了“专家的经验”、分摊了病患、共享了优势医疗资源,确保“应治尽治,应收尽收”,而不是一大堆人挤在三甲医院里,普通医院却人都没有(国家在搞“医联体”,一级、二级医院都能接入大数据平台)。
2. 分析如下 Hive SQL, 生成的 MapReduce 执行程序,map 函数的输入是什么?输出是什么?reduce 函数的输入是什么?输出是什么?
Map 的输入:Key, Value
Key 为 Value 在文件的偏移量,不用关心
Value 为表的每一行
Map 的输出:userid, <tableid, pageid>
userid, <tableid, age>
Reduce 的输入:userid, <tableid, pageid>
userid, <tableid, age>
Reduce 的输出:pageid, age
如下图:
参考链接
https://xie.infoq.cn/article/3805e4cc03c4c70e7f8491c9f
版权声明: 本文为 InfoQ 作者【心在飞】的原创文章。
原文链接:【http://xie.infoq.cn/article/342eeb139098d45fbeb967f55】。未经作者许可,禁止转载。
评论