360 Atlas 生产环境使用心得

关注
发布于: 2020 年 08 月 17 日
一、Atlas介绍
﻿
Atlas是360开源的一个Mysql Proxy，以下是官方介绍：
Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过800人已加入了我们的开发者交流群，并且这些数字还在不断增加。
https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
﻿
以下是其github代码库：https://github.com/Qihoo360/Atlas
主要功能：
﻿
1.读写分离
﻿
2.从库负载均衡
﻿
3.IP过滤
﻿
4.自动分表
﻿
5.DBA可平滑上下线DB
﻿
6.自动摘除宕机的DB
﻿
“自动分表”需要打引号，对于新表是没问题的；
如果是一张有历史数据的表需要拆分，Atlas是不会帮我们拆分的，就需要自己写工具迁移。
﻿
二、安装
1、从官网下载相应版本，我们选择的是2.2.1；
https://github.com/Qihoo360/Atlas/releases
分表的方式有2种，1是单机分表，另1种是支持跨机器分表，可以根据情况选择，我们选择的是单机分表的，即一张总表拆成多张子表，子表和总表都在一个Mysql实例上。
﻿
2、安装因为是rpm安装，直接用rpm命令安装就可以了：
rpm -i Atlas-2.2.1.el6.x86_64.rpm 
﻿
默认安装目录为 /usr/local/mysql-proxy。
 
 /usr/local/mysql-proxy/bin/mysql-proxyd test start
﻿
test表示哪个实例
配置文件在 usr/local/mysql-proxy/conf下，每个配置文件表示一个实例；
﻿
3、配置说明
以下是常用的配置项：
﻿
关键参数：
proxy-backend-addresses：后端Mysql实例地址
﻿
tables：分表参数，格式：
数据库名.表名.分表字段.子表数量
﻿
举1个栗子，假如我们在做社区，社区主要功能是发帖和回帖，那主要是2张表（只是为了演示，不会把真实实际场景所有字段加上）：
﻿
帖子表(posts)
﻿
回复表(replies)
﻿
假设这些表都在数据库forums中，
如果我们要对replies进行分表，则tables这样设置
forums.replies.tid.64
﻿
上面表示对replies进行分表，分表字段为tid，即所有tid相同的回复会在同一张表，总共分64张表。
﻿
三、踩过的坑1、Atlas不支持压缩选项，以下连接是不行的
﻿
mysql_connect($dbhost, $dbuser, $dbpw, 1, MYSQL_CLIENT_COMPRESS);
    正确的写法
﻿
mysql_connect($dbhost, $dbuser, $dbpw, 1);
Count语句问题
分表后，count返回的结果会是针对多个表查询的多个值（count结果为0的不返回），具体示例如下（当前分表为4张）：
﻿
﻿
3.  分表后，如果删掉主表，则不带分表字段的查询会报错（如下图）；如果保留主表，则查询的是主表数据。
﻿
﻿
4. 分页问题
以上面举例的场景来说，如果要从回复表查询uid为123，并且tid为100-200之间的记录的第2页（Discuz里就是这样查用户的回复的），每页显示10条，按时间倒序，就有可能返回为空了；
﻿
为什么这样呢，设想这样一个场景，用户一共有40条回复，假设分布在4张表中，并且分布很均匀，每张表10条记录，因为从每张子表取偏移10-20的记录，子表返回为空了，实际是用户是有数据的，正确的做法是从每张表取出前20条记录，再合并然后进行分页。
﻿
关于这个问题，我已经在另一篇文章详细说明了，Mysql中间件360 Atlas踩坑
﻿
1、如果你是新表，并且预见以后数据很大，可以用上Atlas来解决数据量的问题；
2、旧表的话，你还得自己写脚本导数据，核对数据；
3、如果有些分页查询的话，还需要自己重写；
4、确定你的所有场景的查询是否都有分表字段作为where，没有的话，需要自己再写工具将子表的数据同步到总表；
﻿
可以看到Atlas如果需要产品化还要做很多的事情，如果确定上面都不是问题，就大胆的用吧~
﻿
﻿