写点什么

数据治理(十六):Ranger 管理 HDFS 安全

作者:Lansonli
  • 2022 年 9 月 14 日
    广东
  • 本文字数:4627 字

    阅读完需:约 15 分钟

数据治理(十六):Ranger管理HDFS安全

Ranger 管理 Hive 安全

一、配置 HiveServer2

访问 Hive 有两种方式:HiveServer2 和 Hive Client,Hive Client 需要 Hive 和 Hadoop 的 jar 包,配置环境。HiveServer2 使得连接 Hive 的 Client 从 Yarn 和 HDFS 集群中独立出来,不需要每个节点都配置 Hive 和 Hadoop 的 jar 包和一系列环境。


Ranger 管理 Hive 权限只能针对 HiveServer2 jdbc 方式连接,所以这里需要配置 HiveServer2。


配置 HiveServer2 步骤如下:

1)在 Hive 服务端配置 hive-site.xml

#在Hive 服务端 $HIVE_HOME/conf/hive-site.xml中配置:<!-- 配置hiveserver2 --><property>     <name>hive.server2.thrift.port</name>     <value>10000</value></property><property>    <name>hive.server2.thrift.bind.host</name>    <value>192.168.179.4</value></property><!-- 配置hiveserver2使用的zookeeper --><property>    <name>hive.zookeeper.quorum</name>    <value> node3:2181,node4:2181,node5:2181</value></property> 
复制代码


注意:“hive.zookeeper.quorum”搭建 hiveserver2HA 使用配置项,可以不配置,如果不配置启动 hiveServer2 时一直连接本地 zookeeper,导致大量错误日志(/tmp/root/hive.log),从而导致通过 beeline 连接当前 node1 节点的 hiveserver2 时不稳定,会有连接不上错误信息。

2)在每台 Hadoop 节点配置 core-site.xml,记得发送到所有节点

<!-- 配置代理访问用户,如果不配置下列信息 hive的jdbc连接会报错 --><property>         <name>hadoop.proxyuser.root.hosts</name>         <value>*</value> </property> <property>         <name>hadoop.proxyuser.root.groups</name>        <value>*</value> </property>
复制代码

3)重启 HDFS ,Hive ,在 Hive 服务端启动 Metastore 和 HiveServer2 服务

[root@node1 conf]# hive --service metastore &[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &
复制代码

4)在客户端通过 beeline 连接 Hive

[root@node3 test]# beelinebeeline> !connect jdbc:hive2://node1:10000 rootEnter password for jdbc:hive2://node1:10000: **** #可以输入任意密码,没有验证0: jdbc:hive2://node1:10000> show tables;
复制代码


二、安装 Ranger-hive-plugin

我们可以使用 Ranger 对 Hive 数据安全进行管理,这里需要安装 Hive 插件“ranger-2.1.0-hive-plugin”,此插件只能对 jdbc 方式连接 Hive 的请求进行权限管理,不能对 hive-cli 客户端方式进行权限管理(一般安装 Hive 的节点才能使用 Hive 客户端访问)。步骤如下:

1)远程发送编译好的“hive-plugin”到 node1 节点“/software”目录下,并解压

远程发送“/software/apache-ranger-2.1.0/target/”下的“ranger-2.1.0-hive-plugin.tar.gz”到 node1 节点“/software”下:


[root@node3 /]# scp /software/apache-ranger-2.1.0/target/ranger-2.1.0-hive-plugin.tar.gz node1:/software/#在node1节点操作[root@node1 ~]# cd /software/[root@node1 software]# tar -zxvf ./ranger-2.1.0-hive-plugin.tar.gz
复制代码

2)配置“install.properties”文件

进入到“/software/ranger-2.1.0-hive-plugin”目录中,修改“install.properties”文件:


[root@node1 ranger-2.1.0-hive-plugin]# vim install.properties#配置Ranger-Admin访问地址POLICY_MGR_URL=http://node1:6080#配置Hive 仓库名称,可以自定义,需要后期在Ranger中使用REPOSITORY_NAME=hive_repo#配置Hive的安装目录COMPONENT_INSTALL_DIR_NAME=/software/hive-3.1.2/#配置使用插件的用户和用户组CUSTOM_USER=rootCUSTOM_GROUP=root
复制代码

3)执行“enable-hive-plugin.sh”脚本启动 hive 插件

进入到“/software/ranger-2.1.0-hive-plugin”目录下,执行如下命令,启用插件:


[root@node1 ~]# cd /software/ranger-2.1.0-hive-plugin[root@node1 ranger-2.1.0-hive-plugin]# enable-hive-plugin.sh
复制代码

三、配置 Ranger 连接 Hive 服务

安装好以上 Hive-Plugin 之后,重新启动 HDFS,启动 Hive,HiveMetastore、HiveServer2 等。如果想要对连接 Hive 的用户进行表、列权限管理,需要在 Ranger 中添加对应的 Hive 服务,才可以使用 Ranger 通过这个服务配置每个用户对 Hive 库、表、列权限管理。配置如下:

1)启动 HDFS,启动 Hive、Hive MeateStore、Hive Server2

#启动HDFS,在node1节点上启动Hive metastore[root@node1 conf]# start-all.sh[root@node1 conf]# hive --service metastore &[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &
复制代码

2)在 Ranger 页面中配置 Hive



注意,以上参数解释如下:


  • “Service Name”填写当前 Hive 服务名称,与 Hive 插件中"install.properties"文件配置参数"REPOSITORY_NAME"保持一致。

  • 配置的“user”和“password”也是与"install.properties"文件中配置的“CUSTOM_USER=root”、“CUSTOM_GROUP=root”保持一致。

  • “jdbc.url”填写“jdbc:hive2://node1:10000”即可,这里连接 node1。


添加完成之后:


3)连接测试是否可以 jdbc 方式连接上 Hive


注意:这里连接时,单机测试连接时需要等待一段时间,才能正常连接。

四、Ranger 对 Hive 用户进行权限管理

查看 Ranger 中配置好的 Hive 权限管理服务:



修改上图中只有 root 用户对所以库、表、列具有操作权限,修改后如下:



在 node3 中登录 beeline 连接 node1 hive:


#node3 通过beeline连接Hive[root@node3 ~]# beeline#连接HiveServer2 jdbc连接beeline> !connect jdbc:hive2://node1:10000#这里用户名目前可以随意输入,在Hive中没有校验,这里可以通过Hive配置有哪些用#户可以连接Hive,然后通过Ranger再管理这些用户的细粒度访问权限。从上图中可以#看到目前只有root用户可以访问表数据,可以使用非root用户测试,这里使用#“diaochan”用户:Enter username for jdbc:hive2://node1:10000: diaochan#由于Hive中没有检验密码,所以这里可以随意输入任意密码Enter password for jdbc:hive2://node1:10000: ****#查询库下的表,没有权限。0: jdbc:hive2://node1:10000> show tablesError: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [daochan] does not have [USE] privilege on [default] (state=42000,code=40000)
#重新使用root用户登录beeline,查询对应的表,有权限[root@node3 ~]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: rootEnter password for jdbc:hive2://node1:10000: *** #密码随意0: jdbc:hive2://node1:10000> show tables;
复制代码



下面在 Hive 中创建两张表进行权限管理:


#在Hive中创建两张表create table student (id int,name string,age int) row format delimited fields terminated by '\t';create table score (id int,name string,score int) row format delimited fields terminated by '\t';
复制代码


上传数据附件,将以上文件上传到 node3“/software/test”下



1  zhangsan  182  lisi  193  wangwu  204  maliu  215  tianqi  226  zhaoba  23
复制代码



1  zhangsan  1002  lisi  2003  wangwu  3004  maliu  4005  tianqi  5006  zhaoba  600
复制代码


#加载数据:hive> load data local inpath '/root/test/students.txt' into table student;hive> load data local inpath '/root/test/scores.txt' into table score;
复制代码


权限需求:对用户“user1”配置以上两张表的访问和修改权限,对用户“user2”配置对两张表只有访问权限。


配置步骤如下:


1)在 node1 节点创建两个用户,密码为对应用户名称


#创建两个用户user1,和user2[root@node1 ~]# useradd user1[root@node1 ~]# passwd user1
[root@node1 ~]# useradd user2[root@node1 ~]# passwd user2
复制代码


2)在 Ranger 页面,打开“hive_repo”服务,配置如下:


配置“Student”表权限:






最终配置好如下:



3)登录 Hive Beeline 测试:


向 HDFS 中插入数据时,user1,user2 用户需要操作 HDFS 和 Yarn,所以这里将 HDFS 中 Hive 对应的路径“/user/hive/warehouse”中的“/user”路径权限改成“777”,将 Yarn 使用目录“tmp”路径权限改成“777”


[root@node5 bin]# hdfs dfs -chmod -R 777 /user[root@node5 bin]# hdfs dfs -chmod -R 777 /tmp
复制代码


测试登录 user1,对“student”、“score”表有操作和修改权限,如下:


[root@node3 ~]# beelinebeeline> !connect jdbc:hive2://node1:100000: jdbc:hive2://node1:10000> select * from student;
复制代码



0: jdbc:hive2://node1:10000> select * from score;
复制代码



#向表student、score中插入数据,也能通过。0: jdbc:hive2://node1:10000> insert into student values (7,"aa",24);0: jdbc:hive2://node1:10000> insert into score values (7,"bb",700);
复制代码


测试登录 user2,对“student”、“score”表有操作和修改权限,如下:


[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user2Enter password for jdbc:hive2://node1:10000: *** #密码随便输入0: jdbc:hive2://node1:10000> select * from student;
复制代码



0: jdbc:hive2://node1:10000> select * from score;
复制代码



#测试向“student”和“score”中插入数据,没有对应权限:0: jdbc:hive2://node1:10000> insert into table student values (8,"cc",25);Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [default/student] (state=42000,code=40000)
0: jdbc:hive2://node1:10000> insert into table score values (8,"dd",800);Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [default/score] (state=42000,code=40000)
复制代码


权限需求:对用户“user3”配置对“student”表中“id、name”两列有查询权限,其他列没有查询权限。


配置步骤如下:


1)在 node1 节点中添加用户“user3”


#创建两个用户user3[root@node1 ~]# useradd user3[root@node1 ~]# passwd user3
复制代码


2)给用户“user3”配置表“student”的访问权限



3)测试


#user3登录beeline[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user3#访问表“student”数据,“age”列无法查询,select * 查询不允许0: jdbc:hive2://node1:10000> select id ,name from student;
复制代码



权限需求:对用户“user1”访问表“student”时,“age”列进行空值输出,进行脱敏。


配置步骤如下:


1)给用户“user1”配置表“student”的“Masking”访问权限





2)登录 Hive Beeline 测试


[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user10: jdbc:hive2://node1:10000> select * from student;
复制代码



权限需求:对用户“user2”访问表“student”时,“age”列只能插叙小于等于 20 的行数据。


配置步骤如下:


1)给用户“user1”配置表“student”的“Masking”访问权限





2)登录 Hive Beeline 测试


[root@node3 software]# beelinebeeline> !connect jdbc:hive2://node1:10000Enter username for jdbc:hive2://node1:10000: user2#查询只有3行满足条件的数据0: jdbc:hive2://node1:10000> select * from student;
复制代码



发布于: 8 小时前阅读数: 4
用户头像

Lansonli

关注

微信公众号:三帮大数据 2022.07.12 加入

CSDN大数据领域博客专家,华为云享专家、阿里云专家博主、腾云先锋(TDP)核心成员、51CTO专家博主,全网六万多粉丝,知名互联网公司大数据高级开发工程师

评论

发布
暂无评论
数据治理(十六):Ranger管理HDFS安全_数据治理_Lansonli_InfoQ写作社区