基于 Spring 系列的框架开发的微服务业务站点在当下应该是最流行的开发模式之一，通过一系列分布式高可用的系统架构，我们将完成对电商应用的构建部署。
下面是我们这次完成项目构建的整体架构，首先由 Nginx 实现用户访问的前端，并且由它来完成后端程序的负载均衡；其次我们的微服务将同时运行在两台独立的云主机上，利用 nginx 负载流量；数据库的方案采用 Mairadb 的主从架构，并且添加了 Mycat 作为数据库读写分离的中间件，将数据的写入交给主数据库，数据的读取交给从数据库，分担了对数据的读写压力，redis 负责数据缓存；同时构建了 Zookeeper+Kafka 的分布式系统集群，为系统提供分布式一致性并且高可用的业务集群。
我们的整套系统将部署在私有云环境下，在云平台上创建 10 台云主机，云主机运行在不同的计算节点中，对应计算节点有不同的分类。具体如下。
一、数据库服务构建
使用两台云主机部署 Mariadb 数据库，并完成数据库的主从配置，提高库的安全冗余性。
使用一台云主机部署 Mycat 数据库中间件服务，将用户提交的读写操作识别分发给相应的数据库节点。
这样将用户的访问操作，数据库的读与写操作分给 3 台主机，只有数据库集群的主节点接收增、删、改 SQL 语句，从节点接收查询语句，分担了主节点的查询压力。
1.Mariadb 数据库主从
（1）安装 MariaDB 服务
yum install -y mariadb mariadb-server systemctl start mariadb&&systemctl enable mariadb
复制代码
（2）初始化 MariaDB 数据库
在 db-master 和 db-slave 云主机上初始化 MariaDB 数据库，设置 MariaDB 数据库 root 用户密码
[root@db-master ~]# mysql_secure_installationroot user without the proper authorisation. Set root password? [Y/n] yNew password:Re-enter new password:
复制代码
（3）配置数据库基础设置
编辑两个节点的数据库配置文件 my.cnf，在配置文件 my.cnf 中增添下面的内容。
[root@db-master ~]# cat /etc/my.cnf
[mysqld]log_bin = mysql-binbinlog_ignore_db = mysqlserver_id = 27 //id不同datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.socksymbolic-links=0
[mysqld_safe]log-error=/var/log/mariadb/mariadb.logpid-file=/var/run/mariadb/mariadb.pid
[root@db-master ~]# systemctl restart mariadb
[root@db-slave ~]# cat /etc/my.cnf
[mysqld]log_bin = mysql-binbinlog_ignore_db = mysqlserver_id = 30 //id不同datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.socksymbolic-links=0
[mysqld_safe]log-error=/var/log/mariadb/mariadb.logpid-file=/var/run/mariadb/mariadb.pid
[root@db-slave ~]# systemctl restart mariadb
复制代码
（4）开放主节点的数据库权限
在主节点 db-master 上使用 mysql 命令登录 MariaDB 数据库，授权业务对接所需要的用户。
[root@db-master ~]# mysql -uroot -p密码MariaDB [(none)]> grant all privileges on *.* to mall@'192.168.1.%' identified by "密码";
复制代码
在主节点数据库上创建一个 user 用户让从节点连接，并赋予从节点同步主节点数据库的权限，命令如下。
MariaDB [(none)]> grant replication slave on *.* to 'user'@'db-slave' identified by '密码';
复制代码
（5）配置从节点 db-slave 同步主节点 db-master
在从节点 db-slave 上使用 mysql 命令登录 MariaDB 数据库，配置从节点连接主节点的连接信息。
[root@db-slave ~]# mysql -uroot -p123456MariaDB [(none)]> change master to master_host='db-master',master_user='user',master_password='密码';
复制代码
配置完毕主从数据库之间的连接信息之后，开启从节点服务。使用 show slave status\G;
命令并查看从节点服务状态， Slave_IO_Running 和 Slave_SQL_Running 的状态都为 YES
MariaDB [(none)]> start slave;MariaDB [(none)]> show slave status\G;
复制代码
（6）创建业务库并导入结构
MariaDB [(none)]> create database gpmall;Query OK, 1 row affected (0.000 sec)
MariaDB [(none)]> use gpmallDatabase changed
MariaDB [gpmall]> source MallData.sql
复制代码
2.Mycat 中间件读写分离
（1）安装 Mycat 服务
安装 jdk 环境，并把下载好的 Mycat 安装包解压。
[root@mycat ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel[root@mycat ~]# tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C/usr/local/
复制代码
在/etc/profile 系统变量文件中添加 Mycat 服务的系统变量，并生效变量。
[root@mycat ~]# echo export MYCAT_HOME=/usr/local/mycat/ >> /etc/profile[root@mycat ~]# source /etc/profile
复制代码
（2）编辑 Mycat 的逻辑库配置文件
配置 Mycat 服务读写分离的 schema.xml 配置文件在/usr/local/mycat/conf/目录下。
在文件中定义一个逻辑库 schema，name 为 USERDB，使用户可以通过 Mycat 服务管理该逻辑库对应的 MariaDB 数据库。设置数据库写入节点为主节点 master；设置数据库读取节点为从节点 slave。
[root@mycat ~]# chown root:root /usr/local/mycat/conf/schema.xml[root@mycat ~]# cat /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"><schema name="USERDB" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1"></schema><dataNode name="dn1" dataHost="localhost1" database="test" /><dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" dbType="mysql" dbDriver="native" writeType="0" switchType="1" slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="hostM1" url="master的ip:3306" user="root" password="密码"><readHost host="hostS1" url="slave的ip:3306" user="root" password="密码" /></writeHost></dataHost></mycat:schema>
复制代码
这里再说一下 mycat 中间件负载均衡的几个模式：
balance="0"：不启用读写分离
balance="1"：全部的 Host 参与负载均衡，需要做多主
balance="2"：所有读操作都随机的在 writeHost、readhost 上执行
balance="3"：所有读请求随机地分发到 wiriterHost 对应的 readhost 执行
（3）编辑 mycat 的访问用户
修改/usr/local/mycat/conf/目录下的 server.xml 文件，修改 root 用户的访问密码与数据库，访问 Mycat 的逻辑库为 USERDB.
[root@mycat ~]# cat /usr/local/mycat/conf/server.xml
在配置文件的最后部分
<user name="root"><property name="password">密码</property><property name="schemas">USERDB</property>
复制代码
（4）启动 Mycat 服务
通过命令启动 Mycat 数据库中间件服务，如有开放 8066 和 9066 端口，则表示 Mycat 服务开启成功
[root@mycat ~]# /bin/bash /usr/local/mycat/bin/mycat start
复制代码
二、Zookeeper 集群构建
本系统使用到了 Zookeeper+kafka 分布式系统，Zookeeper 将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
分布式应用可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。
（1）在三个 zk 云主机中安装 JDK 环境并上传 zookeeper 软件包
3 个节点安装 Java JDK 环境，3 个节点均执行命令如下：
# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel# tar -zxvf zookeeper-3.4.14.tar.gz
复制代码
（3）修改 3 个节点配置文件
在 每个 zk 节点，进入 zookeeper-3.4.14/conf 目录下，修改 zoo_sample.cfg 文件为 zoo.cfg
[root@zookeeper1 conf]# vi zoo.cfg
tickTime=2000initLimit=10syncLimit=5dataDir=/tmp/zookeeperclientPort=2181server.1=192.168.1.33:2888:3888server.2=192.168.1.34:2888:3888server.3=192.168.1.35:2888:3888
复制代码
server.id=host:port1:port2
其中 id 为一个数字，表示 zk 进程的 id，这个 id 也是 dataDir 目录下 myid 文件的内容。host 是该 zk 进程所在的 IP 地址，port1 表示 follower 和 leader 交换消息所使用的端口，port2 表示选举 leader 所使用的端口。
（4）创建 myid 文件
在 3 台节点的 dataDir 目录（此处为/tmp/zookeeper）下，分别创建一个 myid 文件，
[root@zookeeper1 ~]# mkdir /tmp/zookeeper
# vi /tmp/zookeeper/myid# cat /tmp/zookeeper/myid1
复制代码
1、2、3，每个节点不同
（5）启动 ZooKeeper 服务
在 3 台机器的 zookeeper-3.4.14/bin 目录下执行命令如下：
# ./zkServer.sh start
ZooKeeper JMX enabled by defaultUsing config: /root/zookeeper-3.4.14/bin/../conf/zoo.cfgStarting zookeeper ... STARTED
复制代码
[root@zookeeper1 bin]# ./zkServer.sh statusMode: leader
[root@zookeeper2 bin]# ./zkServer.sh statusMode: follower
[root@zookeeper3 bin]# ./zkServer.sh statusMode: follower
复制代码
检查 zk 集群的状态，zk1 为 leader，其他两个节点为 follower
三、Kafka 集群构建
使用 ZooKeeper 集群搭建的 3 个节点来构建 Kafka 集群，因为 Kafka 服务依赖于 ZooKeeper 服务。
（1）在三个 zk 云主机中安装上传 Kafka 软件包
# tar -zxvf kafka_2.11-1.1.1.tgz
复制代码
（2）修改 3 个节点配置文件
进入 kafka_2.11-1.1.1/config 目录下，编辑 server.properties 文件
# vim server.properties
broker.id=1zookeeper.connect=192.168.1.33:2181,192.168.1.34:2181,192.168.1.35:2181listeners = PLAINTEXT://192.168.1.33:9092
复制代码
修改配置内容
broker.id：每个节点区分一下
zookeeper.connect：有 3 台 ZooKeeper 服务器，这里设置为 3
listeners：设置监听地址
（3）启动服务
在 三个节点中，进入 kafka_2.11-1.1.1/bin 目录下，启动服务命令
# ./kafka-server-start.sh -daemon ../config/server.properties
复制代码
（4）测试服务
在 zk1 节点，进入 kafka_2.11-1.1.1/bin 目录下，创建 topic 命令如下
Zk1 节点：
[root@zookeeper1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.1.33:2181--replication-factor 1 --partitions 1 --topic testzkCreated topic "testzk".
复制代码
在任意启动的机器 kafka_2.11-1.1.1/bin 的目录中执行命令，同样输出 test 内容
Zk2 节点：
[root@zookeeper2 bin]# ./kafka-topics.sh --list --zookeeper 192.168.1.34:2181testzk
复制代码
Zk3 节点：
[root@zookeeper3 bin]# ./kafka-topics.sh --list --zookeeper 192.168.1.35:2181testzk
复制代码
测试完成
四、Redis 服务构建
（3）安装 Redis 服务
[root@redis ~]# yum install redis -y
复制代码
（4）启动 Redis 服务
修改 Redis 配置文件，编辑/etc/redis.conf 文件
bind 192.168.1.36protected-mode norequirepass redis密码
[root@redis ~]# systemctl start redis&&systemctl enable redisCreated symlink from /etc/systemd/system/multi-user.target.wants/redis.service to/usr/lib/systemd/system/redis.service.
复制代码
检查 Redis 服务启动， 6379 端口正常监听
[root@redis ~]# netstat -ntplActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address Foreign Address StatePID/Program nametcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN1065/redis-server *
复制代码
五、微服务 Jar 包运行环境构建
后端业务
（3）安装 Java 环境
两个 jar 节点安装 openjdk 环境来运行 jar 包
[root@jar1 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel[root@jar2 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
复制代码
（2）运行 jar 包
将构建打包好的四个 jar 包上传至 jar1,jar2 两台云主机，执行后台运行
# nohup java -jar Prj-shopProvider.jar &# nohup java -jar Prj-countProvider.jar &# nohup java -jar Prj-shopper.jar &# nohup java -jar Prj-user.jar &
复制代码
六、前端 Nginx 负载均衡构建
用户访问由 nginx 提供，nginx 通过反向代理后端服务 IP 端口，处理 HTTP 请求，负载分流到后端服务器上
（1）安装 Nginx 服务
登录 Nginx 节点，安装 Nginx 服务，将 dist 前端页面上传至 Nginx 节点
[root@nginx ~]# yum install nginx -y
复制代码
（2）修改 Nginx 配置文件
修改 Nginx 配置文件/etc/nginx/conf.d/default.conf ，添加三个后端服务的负载均衡，并设置 proxy
upstream pageuser { server 192.168.1.37:8082; server 192.168.1.38:8082; ip_hash;}
upstream pageshopping { server 192.168.1.37:8081; server 192.168.1.38:8081; ip_hash;}
upstream pagecashier { server 192.168.1.37:8083; server 192.168.1.38:8083; ip_hash;}
server { listen 80; server_name localhost; location / { root /usr/share/nginx/html; index index.html index.htm;
}
location /user { proxy_pass http://pageuser;
}
location /shopping { proxy_pass http://pageshopping;
}location /cashier { proxy_pass http://pagecashier;
}
复制代码
（4）启动 Nginx 服务
在 nginx 节点，启动 Nginx 服务
[root@nginx ~]# systemctl start nginx && systemctl enable nginx
复制代码
七、电商应用系统访问测试
首页，访问效果
农产品详情页访问
用户注册功能测试，数据库连接与写入无误
用户登陆测试
订单提交测试，后端无误
评论