写点什么

hive 学习笔记之九:基础 UDF,java 入门书籍下载

用户头像
极客good
关注
发布于: 刚刚
  • 本文是《hive 学习笔记》的第九篇,前面学习的内置函数尽管已经很丰富,但未必能满足各种场景下的个性化需求,此时可以开发用户自定义函数(User Defined Function,UDF),按照个性化需求自行扩展;

  • 本篇内容就是开发一个 UDF,名为 udf_upper,功能是将字符串字段转为全大写,然后在 hive 中使用这个 UDF,效果如下图红框所示:



  • 本篇有以下章节:


  1. 开发

  2. 部署和验证(临时函数)

  3. 部署和验证(永久函数)

[](

)源码下载


  1. 如果您不想编码,可以在 GitHub 下载所有源码,地址和链接信息如下表所示:


| 名称 | 链接 | 备注 |


| :-- | :-- | :-- |


| 项目主页 | https://github.com/zq2599/blog_demos | 该项目在 GitHub 上的主页 |


| git 仓库地址(https) | https://github.com/zq2599/blog_demos.git | 该项目源码的仓库地址,https 协议 |


| git 仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址,ssh 协议 |


  1. 这个 git 项目中有多个文件夹,本章的应用在 hiveudf 文件夹下,如下图红框所示:


[](

)开发


  1. 新建名为 hiveudf 的 maven 工程,pom.xml 内容如下,有两处需要关注的地方,接下来马上讲到:


<?xml version="1.0" encoding="UTF-8"?>


<project xmlns="http://maven.apache.org/POM/4.0.0"


xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"


xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">


<modelVersion>4.0.0</modelVersion>


<groupId>com.bolingcavalry</groupId>


<artifactId>hiveudf</artifactId>


<version>1.0-SNAPSHOT</version>


<dependencies>


<dependency>


<groupId>org.apache.hive</groupId>


<artifactId>hive-exec</artifactId>


<version>1.2.2</version>


<scope>provided</scope>


<exclusions>


<exclusion>


<groupId>org.pentaho</groupId>


<artifactId>pentaho-aggdesigner-algorithm</artifactId>


<


【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开:qq.cn.hn/FTf 免费领取
复制代码


/exclusion>


</exclusions>


</dependency>


<dependency>


<groupId>org.apache.hadoop</groupId>


<artifactId>hadoop-common</artifactId>


<version>2.7.7</version>


<scope>provided</scope>


</dependency>


</dependencies>


</project>


  1. 上述 pom.xml 中,两个依赖的 scope 为 provided,因为这个 maven 工程最终只需要将咱们写的 java 文件构建成 jar,所以依赖的库都不需要;

  2. 上述 pom.xml 中排除了 pentaho-aggdesigner-algorithm,是因为从 maven 仓库下载不到这个库,为了能快速编译我的 java 代码,这种排除的方式是最简单的,毕竟我用不上(另一种方法是手动下载此 jar,再用 maven install 命令部署在本地);

  3. 创建 Upper.java,代码如下非常简单,只需存在名为 evaluate 的 public 方法即可:


package com.bolingcavalry.hiveudf.udf;


import org.apache.commons.lang.StringUtils;


import org.apache.hadoop.hive.ql.exec.UDF;


public class Upper extends UDF {


/**


  • 如果入参是合法字符串,就转为小写返回

  • @param str

  • @return


*/


public String evaluate(String str) {


return StringUtils.isBlank(str) ? str : str.toUpperCase();


}


}


  1. 编码已完成,执行 mvn clean package -U 编译构建,在 target 目录下得到 hiveudf-1.0-SNAPSHOT.jar 文件;

  2. 接下来将咱们做好的 UDF 部署在 hive,验证功能是否正常;

[](

)部署和验证(临时函数)


  1. 如果希望 UDF 只在本次 hive 会话中生效,可以部署为临时函数,下面是具体的步骤;

  2. 将刚才创建的 hiveudf-1.0-SNAPSHOT.jar 文件下载到 hive 服务器,我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

  3. 开启 hive 会话,执行以下命令添加 jar:


add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;


  1. 执行以下命令创建名为 udf_upper 的临时函数:


create temporary function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper';


  1. 找一个有数据并且有 string 字段的表(我这是 student 表,其 name 字段是 string 类型),执行以下命令:


select name, udf_upper(name) from student;

用户头像

极客good

关注

还未添加个人签名 2021.03.18 加入

还未添加个人简介

评论

发布
暂无评论
hive学习笔记之九:基础UDF,java入门书籍下载