数据库中间件 MyCat 实战笔记（第一步），arm 架构 linux 系统

A). 卸载 centos 中预安装的 mysql rpm -qa | grep -i mysql rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps B). 上传 mysql 的安装包 alt + p -------> put E:/test/MySQL-5.6.22-1.el6.i686.rpm-bundle.tar C). 解压 mysql 的安装包 mkdir mysql tar -xvf MySQL-5.6.22-1.el6.i686.rpm-bundle.tar -C /root/mysql D). 安装依赖包 yum -y install libaio.so.1 libgcc_s.so.1 libstdc++.so.6 libncurses.so.5 -- setopt=protected_multilib=false yum update libstdc++-4.4.7-4.el6.x86_64 E). 安装 mysql-client rpm -ivh MySQL-client-5.6.22-1.el6.i686.rpm F). 安装 mysql-server rpm -ivh MySQL-server-5.6.22-1.el6.i686.rpm ### 2)启动停止 MySQL service mysql start service mysql stop service mysql status service mysql restart ### 3)登录 MySQL mysql 安装完成之后, 会自动生成一个随机的密码, 并且保存在一个密码文件中 : /root/.mysql_secret mysql -u root -p 登录之后, 修改密码 : set password = password('itcast'); 授权远程访问 : grant all privileges on *.* to 'root' @'%' identified by 'itcast'; flush privileges; 授权远程访问之后 , 就可以通过`sqlYog`来连接`Linux`上的`MySQL` , 但是记得关闭 Linux 上的防火墙(或者配置防火墙):  ## 2.安装 JDK1.8 A. 上传 JDK 的安装包到 Linux 的 root 目录下 alt + p -----------> put D:/jdk-8u181-linux-x64.tar.gz B. 解压压缩包 , 到 /usr/share 目录下 tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/share/ C. 配置 PATH 环境变量 , 在该配置文件(/etc/profile)的最后加入如下配置 export JAVA_HOME=/usr/share/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin ## 3.安装 MyCat 1. 上传 MyCat 的压缩包 `alt + p --------> put D:/Mycat-server-1.6.7.3- release-20190927161129-linux.tar.gz` 2. 解压 MyCat 的压缩包 `tar -zxvf Mycat-server-1.6.7.3-release-20190927161129- linux.tar.gz -C /usr/local` 3. MyCat 的目录结构介绍  *** >参考资料：`《开源数据库中间件 MyCat 实战笔记》` >快速入手通道：`发送简信“MyCat 资料”`免费获取 # 二、MyCat 核心概念 ## 1.分片 简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个 **数据库（主机）** 上面，以达到分散单台设备负载的效果。 数据的 **切分（`Sharding`）** 根据其切分规则的类型，可以分为两种切分模式。 1. 一种是按照不同的表（或者`Schema`）来切分到不同的数据库（主机）之上，这种切分可以称之为数据的垂直（纵向）切分。  2. 另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。  **MyCat 分片策略 :**  虚线以上是逻辑结构图, 虚线以下是物理结构图 ; ## 2.逻辑库(schema) **MyCat 是一个数据库中间件**，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是**一个或多个数据库集群构成的逻辑库**。 ## 3.逻辑表（table） 既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。 1. 分片表 是指**那些原有的很大数据的表，需要切分到多个数据库的表**，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。如 ：`tb_order` 表是一个分片表, 数据按照规则被切分到 dn1、dn2 两个节点。 2. 非分片表 一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。如： `tb_city`是**非分片表** , 数据只存于其中的一个节点 dn1 上。 3. ER 表 关系型数据库是基于 **实体关系模型(Entity Relationship Model)** 的, `MyCat`中的 ER 表便来源于此。 MyCat 提出了基于 ER 关系的数据分片策略 , 字表的记录与其所关联的父表的记录存放在同一个数据分片中, 通过 **表分组(Table Group)** 保证数据关联查询不会跨库操作。 4. 全局表 在一个大型的项目中,会存在一部分 **字典表(码表)** , 在其中存储的是项目中的一些基础的数据 , 而这些基础的数据 , 数据量都不大 , 在各个业务表中可能都存在关联 。当业务表由于数据量大而分片后 ， 业务表与附属的数据字典表之间的关联查询就变成了比较棘手的问题 ， 在 MyCat 中可以通过数据冗余来解决这类表的关联查询 ， 即所有分片都复制这一份数据（**数据字典表**），因此可以把这些冗余数据的表定义为全局表。 ## 4.分片节点(dataNode) 数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是 **分片节点（dataNode）**。 ## 5.节点主机(dataHost) 数据切分后，每个 **分片节点（dataNode）** 不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个 **分片节点（dataNode）** 所在的机器就是 **节点主机（dataHost）**,为了规避单节点主机并发数限制，尽量将读写压力高的 **分片节点（dataNode）** 均衡的放在不同的 **节点主机（dataHost）**。 ## 6.分片规则(rule) 前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。 # 三、分片配置测试 ## 1.需求 由于 `TB_TEST` 表中数据量很大, 现在需要对 `TB_TEST` 表进行数据分片, 分为三个数据节点 , 每一个节点主机位于不同的服务器上, 具体的结构 ,参考下图 :  ## 2.环境准备 准备三台虚拟机 , 且安装好 `MySQL` , 并配置好 : IP 地址列表 : 192.168.192.157 192.168.192.158 192.168.192.159 ## 3.配置 schema.xml `schema.xml` 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的**逻辑库**、**逻辑表**以及对应的**分片规则**、**DataNode**以及**DataSource**。弄懂这些配置，是正确使用 MyCat 的前提。这里就一层层对该文件进行解析。  在服务器上创建 3 个数据库，命名为 db1 修改 `schema.xml` 如下： <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 逻辑库配置 --> <schema name="ITCAST" checkSQLschema="false" sqlMaxLimit="100 ``` 【一线大厂 Java 面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开：qq.cn.hn/FTf 免费领取 ``` "> <!-- 逻辑表配置 --> <table name="TB_TEST" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /> </schema> <!-- 数据节点配置 --> <dataNode name="dn1" dataHost="host1" database="db1" /> <dataNode name="dn2" dataHost="host2" database="db1" /> <dataNode name="dn3" dataHost="host3" database="db1" /> <!-- 节点主机配置 --> <dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="192.168.192.157:3306" user="root" password="itcast"></writeHost> </dataHost> <dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="192.168.192.158:3306" user="root" password="itcast"></writeHost> </dataHost>