hive 学习笔记之九：基础 UDF，java 入门书籍下载

• 本文是《hive 学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发用户自定义函数（User Defined Function，UDF），按照个性化需求自行扩展；

• 本篇内容就是开发一个 UDF，名为 udf_upper，功能是将字符串字段转为全大写，然后在 hive 中使用这个 UDF，效果如下图红框所示：

• 本篇有以下章节：

1. 开发

2. 部署和验证（临时函数）

3. 部署和验证（永久函数）

[](

)源码下载

1. 如果您不想编码，可以在 GitHub 下载所有源码，地址和链接信息如下表所示：

| 名称 | 链接 | 备注 |

| :-- | :-- | :-- |

| 项目主页 | https://github.com/zq2599/blog_demos | 该项目在 GitHub 上的主页 |

| git 仓库地址(https) | https://github.com/zq2599/blog_demos.git | 该项目源码的仓库地址，https 协议 |

| git 仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该项目源码的仓库地址，ssh 协议 |

2. 这个 git 项目中有多个文件夹，本章的应用在 hiveudf 文件夹下，如下图红框所示：

[](

)开发

1. 新建名为 hiveudf 的 maven 工程，pom.xml 内容如下，有两处需要关注的地方，接下来马上讲到：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

<modelVersion>4.0.0</modelVersion>

<groupId>com.bolingcavalry</groupId>

<artifactId>hiveudf</artifactId>

<version>1.0-SNAPSHOT</version>

<dependencies>

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-exec</artifactId>

<version>1.2.2</version>

<scope>provided</scope>

<exclusions>

<exclusion>

<groupId>org.pentaho</groupId>

<artifactId>pentaho-aggdesigner-algorithm</artifactId>

<

【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开：qq.cn.hn/FTf 免费领取

/exclusion>

</exclusions>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</artifactId>

<version>2.7.7</version>

<scope>provided</scope>

</dependency>

</dependencies>

</project>

2. 上述 pom.xml 中，两个依赖的 scope 为 provided，因为这个 maven 工程最终只需要将咱们写的 java 文件构建成 jar，所以依赖的库都不需要；

3. 上述 pom.xml 中排除了 pentaho-aggdesigner-algorithm，是因为从 maven 仓库下载不到这个库，为了能快速编译我的 java 代码，这种排除的方式是最简单的，毕竟我用不上（另一种方法是手动下载此 jar，再用 maven install 命令部署在本地）；

4. 创建 Upper.java，代码如下非常简单，只需存在名为 evaluate 的 public 方法即可：

package com.bolingcavalry.hiveudf.udf;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.hive.ql.exec.UDF;

public class Upper extends UDF {

/**

• 如果入参是合法字符串，就转为小写返回

• @param str

• @return

*/

public String evaluate(String str) {

return StringUtils.isBlank(str) ? str : str.toUpperCase();

}

}

5. 编码已完成，执行 mvn clean package -U 编译构建，在 target 目录下得到 hiveudf-1.0-SNAPSHOT.jar 文件；

6. 接下来将咱们做好的 UDF 部署在 hive，验证功能是否正常；

[](

)部署和验证（临时函数）

1. 如果希望 UDF 只在本次 hive 会话中生效，可以部署为临时函数，下面是具体的步骤；

2. 将刚才创建的 hiveudf-1.0-SNAPSHOT.jar 文件下载到 hive 服务器，我这边路径是/home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar；

3. 开启 hive 会话，执行以下命令添加 jar：

add jar /home/hadoop/udf/hiveudf-1.0-SNAPSHOT.jar;

4. 执行以下命令创建名为 udf_upper 的临时函数：

create temporary function udf_upper as 'com.bolingcavalry.hiveudf.udf.Upper';

5. 找一个有数据并且有 string 字段的表（我这是 student 表，其 name 字段是 string 类型），执行以下命令：

select name, udf_upper(name) from student;