rdd pair reduce

作者：小东

要求

一个 pair (String,Int) 比如 ( 你好,1)

读入一个文件，获取到最长的一行以及长度。

atguigu atguiguss sscls clsjiaobanzhangxuehadoop

复制代码

读入文件，然后 map 成(line,length)，再用 reduce+比较，得到最终数据。

val t = sc.textFile("D:\\hadoop\\input\\hello.txt")
val q1 = t.map(line => (line, line.split(" ").size))
q1.reduce((x,y) => if(x._2>y._2) x else y)

复制代码

发布于: 刚刚阅读数: 4

关注

一个不断前进的学习者 2022-02-17 加入

你好我是小东

发布

暂无评论