写点什么

Hadoop UI 系统 -HUE 详细剖析

发布于: 2021 年 03 月 19 日
Hadoop UI 系统 -HUE 详细剖析

1. Hue 是什么

HUE=HadoopUser Experience

Hue 是一个开源的 Apache Hadoop UI 系统,由 Cloudera Desktop 演化而来,最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区,它是基于 Python Web 框架 Django 实现的。

通过使用 Hue,可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互,来分析处理数据,例如操作 HDFS 上的数据,运行 MapReduce Job,执行 Hive 的 SQL 语句,浏览 HBase 数据库等等。




2. Hue 能做什么

访问 HDFS 和文件浏览

通过 web 调试和开发 hive 以及数据结果展示

查询 solr 和结果展示,报表生成

通过 web 调试和开发 impala 交互式 SQLQuery

spark 调试和开发

Pig 开发和调试

oozie 任务的开发,监控,和工作流协调调度

Hbase 数据查询和修改,数据展示

Hive 的元数据(metastore)查询

MapReduce 任务进度查看,日志追踪

创建和提交 MapReduce,Streaming,Javajob 任务

Sqoop2 的开发和调试

Zookeeper 的浏览和编辑

数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示





3. Hue 的架构

Hue 是一个友好的界面集成框架,可以集成各种大量的大数据体系软件框架,通过一个界面就可以做到查看以及执行所有的框架。

Hue 提供的这些功能相比 Hadoop 生态各组件提供的界面更加友好,但是一些需要 debug 的场景可能还是要使用原生系统才能更加深入的找到错误的原因。




Hue 的安装

1. 上传解压安装包

Hue 的安装支持多种方式,包括 rpm 包的方式进行安装、tar.gz 包的方式进行安装以及 cloudera  manager 的方式来进行安装等,我们这里使用 tar.gz 包的方式来进行安装。

Hue 的压缩包的下载地址:

http://archive.cloudera.com/cdh5/cdh/5/

我们这里使用的是 CDH5.14.0 这个对应的版本,具体下载地址为

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

cd /export/softwares/

tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -c /export/servers

2. 编译初始化工作

2.1. 联网安装各种必须的依赖包

yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel

2.2. Hue 初始化配置

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vim  hue.ini

#通用配置 17行左右[desktop]secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5ohttp_host=node-1is_hue_4=truetime_zone=Asia/Shanghaiserver_user=rootserver_group=rootdefault_user=rootdefault_hdfs_superuser=root#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右[[database]] 587行左右engine=mysqlhost=node-1port=3306user=rootpassword=Hadoopname=hue
复制代码



1.1. 创建 mysql 中 Hue 使用的 DB

create database hue default character set utf8 default collateutf8_general_ci;



2. 编译 Hue

cd /export/servers/hue-3.9.0-cdh5.14.0

make apps

 

编译成功之后,会在 hue 数据库中创建许多初始化表。



3. 启动 Hue、Web UI 访问

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

如果出现如下错误:需要添加hue用户




添加hue用户重新启动

Useradd hue

Passwd hue

密码:123456

build/env/bin/supervisor

 

页面访问路径:

http://node-1:8888

 

第一次访问的时候,需要设置超级管理员用户和密码。记住它。




若想关闭 Hue ,直接在窗口 ctrl+c 即可


发布于: 2021 年 03 月 19 日阅读数: 9
用户头像

还未添加个人签名 2021.03.07 加入

还未添加个人简介

评论

发布
暂无评论
Hadoop UI 系统 -HUE 详细剖析