架构师训练营 1 期 - 第 十二周作业（vaik）

作业：

• 在你所在的公司（行业、领域），正在用大数据处理哪些业务？可以用大数据实现哪些价值？

个人目前是从事 K12 教育行业，虽然并没有真正落地的大数据项目，但也时常思考和分析大数据如何应用到 K12 的教育待业中来，让其他产生真正的价值。我从以下几个方面分析一下教育待业的大数据落地业务。

第一个方面，从教的角度，结合大数据的分析，获取更精准的更优质的更高效教育资源，同步的如课件推荐，题库推送，某个知识点的音视频讲解，某个题型的讲解分析等，最大的价值，通过数据解决的高效高质的教的问题，提升老师教的效率和方式，有更多的想象空间。

第二个方面，从学的角度，通过大数据分析，学生历史学习情况，当下对知识点掌握情况，考试失分点，薄弱知识点，知识盲区，推送有针对性的，个性化的学习分层训练的资源，如个性化定制的试题推送，针对性的知识点，题型等相关音视频推送。这个方面最大的价值，就是解决学生学习效率问题，直接提升学生成绩和对知识点的掌握。

第三个方面，通过大数据分析，总结更优的教与学的方式方法，比如某个知识点，不同学校老师教的方法，不同年学生学的方法，都不一样，但有教得很好，有的学得很好，有了大数据的分析，很直观的把优秀的方法展现出来。这方面体现的价值在于，教育和学习的方法都是一个持续优化的过程，也是一个共性和个性相结合的，有数据分析和支撑往往比个人经验更加

• 分析如下 HiveQL，生成的 MapReduce 执行程序，map 函数输入是什么？输出是什么，reduce 函数输入是什么？输出是什么？

INSERT OVERWRITE TABLE pv_usersSELECT pv.pageid, u.ageFROM page_view pv   JOIN user u   ON (pv.userid = u.userid);

page_view 表和 user 表结构与数据示例如下

两个表的 map 函数输入和输出：

pag_view 表 map 输入：pageid,userId 输出:userid 为 key,<tableFlag,pageid>为 value

user 表 map 输入：pageid,age 输出:userid 为 key,<tableFlag,age>为 value

reduce 函数输入和输出：

输入： 上面两个 map 作 Shuffle 相同 key 的列表

输出：pageid,age 的列表