写点什么

打造数据平台:Cloudera 下载安装全流程!

  • 2024-09-25
    四川
  • 本文字数:2195 字

    阅读完需:约 7 分钟

打造数据平台:Cloudera下载安装全流程!

引言:之前文章《深度挖掘|Cloudera安装不再难!基础环境搭建全解析》中,我们深入探讨了如何在企业环境中精心准备系统环境,为大数据平台 Cloudera 搭建奠定坚实基础。今天,我们将正式进行 Cloudera Manager 的下载安装与部署。

Cloudera Manager 下载

步骤一:环境检查与准备确保系统环境已按照《深度挖掘|Cloudera安装不再难!基础环境搭建全解析》指导完成准备,包括操作系统版本、网络配置、防火墙设置等。同时,检查 Java 环境是否满足 Cloudera Manager 的要求。

 

步骤二:下载 Cloudera Manager 安装包访问 Cloudera 官网,根据您的需求选择合适的 Cloudera Manager 版本进行下载。注意检查下载链接的安全性,避免从非官方渠道下载。

Cloudera manager 安装

1. 创建安装目录 

在三台节点 cm1,cm2,cm3 中执行命令“mkdir /opt/cloudera-manager”创 建安装目录。 

并且将“cloudera-manager-el6-cm5.4.3_x86_64.tar.gz”上传至 cm1 节点的目录“/software”下,并且解压到目录“/opt/cloudera-manager” 下,在 cm1 节点执行命令如下: 


[root@cm1 software]# tar-zxvf ./cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager/
复制代码


2. 配置 CM Agent 的 server host 

在 cm1 节点上修改路径 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent 下的 config.ini 文件,将 server_host=localhost 改成 server_host=cm1。 


3. 创建用户 cloudera-scm

在三台节点 cm1,cm2,cm3 上创建用户“cloudera-scm”,在每台节点上执行如下命令: 

useradd--system--no-create-home--shell=/bin/false--comment"ClouderaSCM User" cloudera-scm
复制代码


其中: --system 创建一个系统用户。--no-create-home 强制不创建家目录。 --shell 指定用户的 shell。--comment 用户说明。 


4. 创建 Parcel 目录在 Server 节点创建目录并修改权限: 

在 cm1 节点执行如下命令:

[root@cm1 cloudera-scm-agent]# mkdir -p /opt/cloudera/parcel-repo [root@cm1 cloudera-scm-agent]# chown cloudera-scm:cloudera-scm     /opt/cloudera/parcel-repo
复制代码

在 Agent 节点创建目录并修改权限: 

在 cm1,cm2,cm3 节点上执行如下命令:

mkdir -p /opt/cloudera/parcelschown cloudera-scm:cloudera-scm /opt/cloudera/parcels
复制代码


5. 配置 CM Server 数据库

将 “ mysql-connector-java-5.1.26-bin.jar ” 上传至 cm1 节 点的 /usr/share/java/目录下,如果没有目录需要先创建目录,并且修改 jar 包名称为“mysql-connector-java.jar” 

登录 mysql 数据库,给用户 temp【这里使用 temp 用户,也可以是其他用户名称】赋权限,在 cm1 执行如下命令: 

[root@cm1 ~]# mysql -u root -p123456mysql>grantallon*.*to'temp'@'%'identifiedby'temp'withgrantoption;
复制代码


在 cm1 节点中指定数据库,执行如下命令:

[root@cm1 ~]# cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/[root@cm1schema]#./scm_prepare_database.shmysqltemp-hcm1-utemp-ptemp --scm-host cm1 scm scm scm
复制代码


以上执行命令参数的解释如下:

数据库类型、数据库、数据库服务器、用户名、密码、cm server 服务器


6. 制作 CDH 本地源 

将下载好的文件 “ CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel ” 和 “ manifest.json ” 两个文件,以及制作的 “CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha”文件上传至 cm1 节点的/opt/cloudera/parcel-repo/目录下。 


以上这个步骤就是模拟安装 CDH 时,已经在 Cloudera Manager 的仓库中下载了 CDH 的镜像文件。 

然后将 cm1 节点/opt/cloudera-manager 路径下的所有目录文件发送到 cm2、cm3 节点。在 cm1 上执行如下命令:

[root@cm1 ~]# cd /opt/cloudera-manager/[root@cm1 cloudera-manager]# scp -r ./* cm2:`pwd` [root@cm1 cloudera-manager]# scp -r ./* cm3:`pwd`
复制代码


7. 启动 CM Server、Agent 在 cm1 节点上启动 CM Server: 

进入 cm1 路径:/opt/cloudera-manager/cm-5.4.3/etc/init.d,执行 如下命令: 


[root@cm1~]#cd/opt/cloudera-manager/cm-5.4.3/etc/init.d/ [root@cm1init.d]#./cloudera-scm-serverstart
复制代码


注意: Sever 首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装。至少等待 2-3 分钟,视机器性能而定。可以在路径/opt/cloudera-manager/cm-5.4.3/log/cloudera-scm-server 下观察日志是否启动成功。 

在 cm1cm2cm3 节点上启动 Agent: 

进入 cm1,cm2,cm3 节点路径: 

/opt/cloudera-manager/cm-5.4.3/etc/init.d,执行如下命令: 

cd/opt/cloudera-manager/cm-5.4.3/etc/init.d/./cloudera-scm-agentstart
复制代码

至此,Cloudera Manager 的安装完成。 


以上就是今天分享的全部内容。

如果你想了解更多关于:Cloudera 系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题,可以后台联系我们在线咨询,我们团队提供 7x24 小时不间断的技术支持服务,确保大家在任何时间遇到问题都能得到及时响应。


感谢你的阅读,如果喜欢我的文字,可以持续关注我,会陆续为你更新更多干货小知识。



*加入社群,共享资料+赠送指导。

如果你想深入探讨了解 Cloudera 大数据技术的(内存扩容/缩容策略,故障诊断与问题排查)的方法论,欢迎撩我,觉得内容有帮助,可以右下角帮我点 “点赞” 、点亮 “在看” 分享朋友圈,非常感谢你的支持,祝财源滚滚。

用户头像

公众号:【TASKCTL】官方免费直接授权使用 2020-12-23 加入

一款国产免费企业级ETL调度批处理工具;支持各类脚本任务程序和扩展;具备可视化图形拖拽设计界面以及可视化任务管理、计划调度、实时监控、消息预警和日志分析;有效弥补了传统ETL工具在调度管理和监控分析方面不足

评论

发布
暂无评论
打造数据平台:Cloudera下载安装全流程!_hadoop_敏捷调度TASKCTL_InfoQ写作社区