写点什么

数据治理(七):Atlas 搭建启动

作者:Lansonli
  • 2022 年 8 月 23 日
    广东
  • 本文字数:1697 字

    阅读完需:约 6 分钟

数据治理(七):Atlas搭建启动

Atlas 搭建启动

一、Atlas 配置

这里安装 Atlas 选择单节点安装,一般公司使用单节点即可。安装步骤如下:

1、移动 Atlas 编译好的安装包

将编译好的 Atlas 安装包移动到/software 下进入“/software/apache-atlas-sources-2.1.0/distro/target/apache-atlas-2.1.0-bin”路径下,将“apache-atlas-2.1.0”移动到“/software”下

[root@node3 ~]# cd /software/apache-atlas-sources-2.1.0/distro/target/apache-atlas-2.1.0-bin[root@node3 apache-atlas-2.1.0-bin]# mv ./apache-atlas-2.1.0/ /software/
复制代码


2、修改 atlas-env.sh 配置文件

修改“$ATLAS_HOME/conf/atlas-env.sh”配置文件:

#配置Java homeexport JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/
#如果想要使用外部的HBase 改成falseexport MANAGE_LOCAL_HBASE=false#添加HBase 配置文件路径export HBASE_CONF_DIR=/software/hbase-2.2.6/conf/
#如果想要使用外部的SOLR 改成falseexport MANAGE_LOCAL_SOLR=false
复制代码


3、修改 atlas-application.properties 配置文件

修改“$ATLAS_HOME/conf/atlas-application.properties”配置文件:

#Hbase地址(对应的zk地址)配置(自带hbase会根据此端口启动一个zk实例)#如果使用外部HBase,则填写外部zookeeper地址atlas.graph.storage.hostname=node3:2181,node4:2181,node5:2181
#配置 Solr 的Zookeeper地址atlas.graph.index.search.solr.zookeeper-url=node3:2181,node4:2181,node5:2181#Solr地址配置atlas.graph.index.search.solr.http-urls=http://node3:8983/solr
# Kafka相关配置,如果要使用外部的kafka,则改为falseatlas.notification.embedded=false#内嵌kafka会根据此端口启动一个zk实例,如果使用外部kafka,#则填写外部zookeeper地址atlas.kafka.zookeeper.connect=node3:2181,node4:2181,node5:2181#如果使用外部kafka,则填写外部broker server地址atlas.kafka.bootstrap.servers=node1:9092,node2:9092,node3:9092
#访问Atlas webui 路径atlas.rest.address=http://node3:21000
复制代码


二、Atlas 启动

1、启动 HDFS 集群

#所有Zookeeper节点启动zookeeperzkServer.sh start
#node1节点启动HDFS[root@node1 ~]# start-all.sh
复制代码


2、启动HBASE集群

#node4节点上启动HBase集群[root@node4 bin]# start-hbase.sh
复制代码


3、启动 Kafka 集群

#在Kafka每台节点上启动Kafka,这里Kafka节点为node1,node2,node3cd /software/kafka_2.11-0.11.0.3 ./startKafka.sh 
复制代码


4、启动 Solr 集群 并创建索引

#在每台Solr节点上启动Solr,Solr节点为node3,node4,node5cd /software/solr-5.5.1/bin/ ./solr start
复制代码


访问 solr WebUI - http://node3:8983


#在Solr中执行如下创建索引命令,只需要执行一次即可[root@node3 ~]# cd /software/solr-5.5.1/bin[root@node3 bin]# solr create -c vertex_index -shards 3 -replicationFactor 1[root@node3 bin]# solr create -c edge_index -shards 3 -replicationFactor 1[root@node3 bin]# solr create -c fulltext_index -shards 3 -replicationFactor 1
复制代码


 注意:如果以上创建错误,可以使用命令“solr delete -c ${collection_name}”删除重新创建。

5、启动 Atlas

进入到“/software/apache-atlas-2.1.0/bin”目录下,执行以下命令启动 atlas。

[root@node3 ~]# cd /software/apache-atlas-2.1.0/bin#启动Atlas[root@node3 bin]# ./atlas_start.py starting atlas on host localhoststarting atlas on port 21000...........................................................Apache Atlas Server started!!!
注意:首次启动Atlas,出现“Apache Atlas Server started!!!”大约再等5分钟才能查看WebUI页面。如果出现错误日志在“$ATLAS_HOME/logs/”目录下,“application.log”和“atlas.xxx-xxx.err”日志文件中。可以通过监控日志来查看是否启动完成,标志是日志不再动:[root@node3 ~]# tail -f /software/apache-atlas-2.1.0/logs/application.log
复制代码


6、访问 Atlas :http://node3:21000

账号:admin,密码:admin,直接登录即可。

7、停止 Atlas

[root@node3 ~]# cd /software/apache-atlas-2.1.0/bin[root@node3 bin]# ./atlas_stop.py
复制代码


发布于: 刚刚阅读数: 8
用户头像

Lansonli

关注

微信公众号:三帮大数据 2022.07.12 加入

CSDN大数据领域博客专家,华为云享专家、阿里云专家博主、腾云先锋(TDP)核心成员、51CTO专家博主,全网六万多粉丝,知名互联网公司大数据高级开发工程师

评论

发布
暂无评论
数据治理(七):Atlas搭建启动_数据治理_Lansonli_InfoQ写作社区