hadoop

?# ENV?

?? ?export JAVA_HOME=/usr/local/src/jdk

?? ?export PATH=$PATH:$JAVA_HOME/bin

4、刷新设置

source /etc/profile

运行 java -version 查看是否配置成功

java -version

5、确保/usr/local/src/目录和子文件夹的所属用户以及所属组为 ec2-user

查看 src 的所属用户及所属组

ll /usr/local

若是 ec2-user，下一步

若不是：

修改所属用户及所属组

sudo chown -R ec2-user:ec2-user /usr/local/src

6、远程分发

需要 ssh 支撑 ? ?

若没有 ssh 需安装

1、ssh-keygen ?

2、ssh-copy-id ?主机名? ? ? ? ? ? #就是上面设置的

已经有的直接分发就行

scp [-r] 源目录 ?[用户名 @]主机名或 IP:保存的地址

scp -r jdk/ slave1:/usr/local/src?

scp -r jdk/ slave2:/usr/local/src?

7、检查另外两台机器的 jdk 路径，环境变量设置一下

可等到 Hadoop 安装配置好一块分发，设置环境变量

五、Hadoop 安装

1、解压到指定目录 /usr/local/src?

2、重命名?

3、配置环境变量

sudo vim /etc/profile

export HADOOP_HOME=/usr/local/src/hadoop?

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 刷新设置，运行 hadoop version 查看是否配置成功

source /etc/profile?

5. 修改 hadoop 的核心配置文件

5.1 修改 hadoop-env.sh ? mapred-env.sh ? yarn-env.sh ?

vim hadoop-env.sh ?

export JAVA_HOME=/usr/local/jdk

5.2 修改 core-site.xml?

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/src/hadoop/data_tmp</value>

</property>

5.3 修改 hdfs-site.xml?

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:50090</value>

</property>

5.4 修改 mapred-site.xml?

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5.5 修改 yarn-site.xml?

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

5.6 修改 slave

slave1

slave2

6、远程分发

7、格式化

hdfs namenode -format

8、启动 hdfs 和 yarn

start-dfs.sh

start-yarn.sh

六、安装 Hive

#1、安装 Hive 的元数据库 MySQL

1、下载 mysql 源安装包

sudo wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

2、安装 mysql 源

sudo yum localinstall mysql57-community-release-el7-8.noarch.rpm

3、安装 mysql

sudo yum install mysql-community-server

4、启动 MySQL 服务

sudo systemctl start mysqld

5、查看 mysql 初始密码

[ec2-user@master ~]$ sudo grep "password" /var/log/mysqld.log

2021-03-19T07:56:41.030922Z 1 [Note] A temporary password is generated for root@localhost: v=OKXu0laSo;

v=OKXu0laSo;是密码

6、修改 mysql 登陆密码

把初始密码复制下来，在进入 mysql 需要输入密码时粘贴下来，回车，就可以进入 MySQL 命令行。

进入命令行

sudo mysql -uroot -p

修改密码，设置 MySQL 登陆密码为 1234

新密码设置的时候如果设置的过于简单会报错

修改密码规则：

在 mysql 命令行中输入

mysql> set global validate_password_policy=0;

Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_length=1;

Query OK, 0 rows affected (0.00 sec)

重新设置密码

mysql> set pas 《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 sword for 'root'@'localhost'=password('1234');

Query OK, 0 rows affected, 1 warning (0.00 sec)

7、设置远程登陆

先退出 MySQL

以新密码登陆 MySQL

[ec2-user@master ~]$ mysql -uroot -p1234

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 10

Server version: 5.7.33 MySQL Community Server (GPL)

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

创建用户

mysql> create user 'root'@'172.%.%.%' identified by '1234';

Query OK, 0 rows affected (0.00 sec)

允许远程连接：

mysql> grant all privileges on . to 'root'@'172.%.%.%' with grant option;

Query OK, 0 rows affected (0.00 sec)

刷新权限：

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

到此 mysql 安装完成

#2、安装 Hive（依赖 Hadoop）

1、把 Hive 解压到指定位置

tar -zxvf hadoop/apache-hive-1.1.0-bin.tar.gz -C /usr/local/src/

2、重命名

mv apache-hive-1.1.0-bin/ hive

3、配置全局环境变量

sudo vim /etc/profile

export HIVE_HOME=/usr/local/src/hive

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/src/hive/lib/*

刷新环境变量

source?/etc/profile

4、在 src/hive/conf 下创建 hive-site.xml 文件

touch hive-site.xml

在 hive-site.xml 文件中添加如下内容:

<configuration>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

</property>

<property>