写点什么

最新、最全、最详细的 MySQL 数据库学习笔记总结(2021 最新版)

用户头像
民工哥
关注
发布于: 2021 年 04 月 18 日
最新、最全、最详细的 MySQL 数据库学习笔记总结(2021最新版)

数据库是什么

数据库管理系统,简称为 DBMS(Database Management System),是用来存储数据的管理系统。

DBMS 的重要性

  • 无法多人共享数据

  • 无法提供操作大量数据所需的格式

  • 实现读取自动化需要编程技术能力

  • 无法应对突发事故

DBMS 的种类

  • 层次性数据库

  • 最古老的数据库之一,因为突出的缺点,所以很少使用了

  • 关系型数据库

  • 采用行列二维表结构来管理数据库,类似 Excel 的结构,使用专用的 SQL 语言对数据进行控制。

  • 关系数据库管理系统的常见种类

  • Oracle ==> 甲骨文

  • SQL Servce ==> 微软

  • DB2 ==> IBM

  • PostgreSQL ==> 开源

  • MySQL ==> 开源

  • 面向对象的数据库

  • XML 数据库

  • 键值存储系统

  • DB2

  • Redis

  • MongoDB

SQL 语句及其种类

  • DDL(数据定义语言)

  • create ==> 创建数据库或者表等对象

  • drop ==> 删除数据库或者表等对象

  • alter ==> 修改数据库或者表等对象的结构

  • DML(数据操作语言)

  • select ==> 查询表中数据

  • insert ==> 向表中插入数据

  • update ==> 更新表中数据

  • delete ==> 删除表中数据

  • DCL(数据控制语言)

  • commit ==> 决定对数据库中的数据进行变更

  • rollback ==> 取消对数据库中的数据进行变更

  • grant ==> 赋予用户操作权限

  • revoke ==> 取消用户的操作权限

SQL 的基本书写规则

  • SQL 语句要以;结尾

  • 关键字不区分大小写,但是表中数据区分大小写

  • 关键字大写

  • 表名的首字母大写

  • 列明等小写

  • 常数的书写方式是固定的

  • 遇到字符串、日期等类型需要用到''

  • 单词间需要使用空格分割

  • 命名规则

  • 数据库和表的名称可以使用英文、数据以及下划线

  • 名称必须以英文作为开头

  • 名称不能重复

数据类型

  • integer

  • 数字型,但是不能存放小数

  • char

  • 定长字符串类型,指定最大长度,不足使用空格填充

  • varchar

  • 可变长度字符串类型,指定最大长度,但是不足不填充

  • data

  • 存储日期,年/月/日以上内容是对通用数据库以及 sql 语句相关的知识点介绍,本文不做过多的赘述,本文主要针对关系型数据库:MySQL 来进行各方面的知识点总结。

MySQL 数据库简介

MySQL 是最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。


MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。


  • MySQL 是开源的,目前隶属于 Oracle 旗下产品。

  • MySQL 支持大型的数据库。可以处理拥有上千万条记录的大型数据库。

  • MySQL 使用标准的 SQL 数据语言形式。

  • MySQL 可以运行于多个系统上,并且支持多种语言。这些编程语言包括 C、C++、Python、Java、Perl、PHP、Eiffel、Ruby 和 Tcl 等。

  • MySQL 对 PHP 有很好的支持,PHP 是目前最流行的 Web 开发语言。

  • MySQL 支持大型数据库,支持 5000 万条记录的数据仓库,32 位系统表文件最大可支持 4GB,64 位系统支持最大的表文件为 8TB。

  • MySQL 是可以定制的,采用了 GPL 协议,你可以修改源码来开发自己的 MySQL 系统。


在日常工作与学习中,无论是开发、运维、还是测试,对于数据库的学习是不可避免的,同时也是日常工作的必备技术之一。在互联网公司,开源产品线比较多,互联网企业所用的数据库占比较重的还是 MySQL。更多关于 MySQL 数据库的介绍,有兴趣的读者可以参考官方网站的文档和这篇文章:可能是全网最好的MySQL重要知识点

MySQL 安装

MySQL 8 正式版 8.0.11 已发布,官方表示 MySQL8 要比 MySQL 5.7 快 2 倍,还带来了大量的改进和更快的性能!到底谁最牛呢?请看:MySQL 5.7 vs 8.0,哪个性能更牛?


详细的安装步骤请参阅:CentOS 下 MySQL 8.0 安装部署,超详细!

MySQL 基础入门操作

Windows 服务


-- 启动MySQLnet start mysql
-- 创建Windows服务sc create mysql binPath= mysqld_bin_path(注意:等号与值之间有空格)
复制代码


连接与断开服务器


mysql -h 地址 -P 端口 -u 用户名 -p 密码
SHOW PROCESSLIST -- 显示哪些线程正在运行SHOW VARIABLES -- 显示系统变量信息
复制代码


数据库操作


-- 查看当前数据库SELECT DATABASE();
-- 显示当前时间、用户名、数据库版本SELECT now(), user(), version();
-- 创建库CREATE DATABASE[ IF NOT EXISTS] 数据库名 数据库选项 数据库选项: CHARACTER SET charset_name COLLATE collation_name
-- 查看已有库 SHOW DATABASES[ LIKE 'PATTERN']
-- 查看当前库信息 SHOW CREATE DATABASE 数据库名
-- 修改库的选项信息 ALTER DATABASE 库名 选项信息
-- 删除库 DROP DATABASE[ IF EXISTS] 数据库名 同时删除该数据库相关的目录及其目录内容
复制代码


表的操作


-- 创建表CREATE [TEMPORARY] TABLE[ IF NOT EXISTS] [库名.]表名 ( 表的结构定义 )[ 表选项]每个字段必须有数据类型最后一个字段后不能有逗号TEMPORARY 临时表,会话结束时表自动消失对于字段的定义:   字段名 数据类型 [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT 'string']-- 表选项  -- 字符集  CHARSET = charset_name  如果表没有设定,则使用数据库字符集  -- 存储引擎  ENGINE = engine_name  表在管理数据时采用的不同的数据结构,结构不同会导致处理方式、提供的特性操作等不同  常见的引擎:InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive  不同的引擎在保存表的结构和数据时采用不同的方式  MyISAM表文件含义:.frm表定义,.MYD表数据,.MYI表索引  InnoDB表文件含义:.frm表定义,表空间数据和日志文件  SHOW ENGINES -- 显示存储引擎的状态信息  SHOW ENGINE 引擎名 {LOGS|STATUS} -- 显示存储引擎的日志或状态信息    -- 自增起始数        AUTO_INCREMENT = 行数    -- 数据文件目录        DATA DIRECTORY = '目录'    -- 索引文件目录        INDEX DIRECTORY = '目录'    -- 表注释        COMMENT = 'string'    -- 分区选项        PARTITION BY ... (详细见手册)
-- 查看所有表SHOW TABLES[ LIKE 'pattern']SHOW TABLES FROM 表名
-- 查看表机构SHOW CREATE TABLE 表名 (信息更详细)DESC 表名 / DESCRIBE 表名 / EXPLAIN 表名 / SHOW COLUMNS FROM 表名 [LIKE 'PATTERN']SHOW TABLE STATUS [FROM db_name] [LIKE 'pattern']
-- 修改表 -- 修改表本身的选项 ALTER TABLE 表名 表的选项 eg: ALTER TABLE 表名 ENGINE=MYISAM; -- 对表进行重命名 RENAME TABLE 原表名 TO 新表名 RENAME TABLE 原表名 TO 库名.表名 (可将表移动到另一个数据库) -- RENAME可以交换两个表名 -- 修改表的字段机构(13.1.2. ALTER TABLE语法) ALTER TABLE 表名 操作名 -- 操作名 ADD[ COLUMN] 字段定义 -- 增加字段 AFTER 字段名 -- 表示增加在该字段名后面 FIRST -- 表示增加在第一个 ADD PRIMARY KEY(字段名) -- 创建主键 ADD UNIQUE [索引名] (字段名)-- 创建唯一索引 ADD INDEX [索引名] (字段名) -- 创建普通索引 DROP[ COLUMN] 字段名 -- 删除字段 MODIFY[ COLUMN] 字段名 字段属性 -- 支持对字段属性进行修改,不能修改字段名(所有原有属性也需写上) CHANGE[ COLUMN] 原字段名 新字段名 字段属性 -- 支持对字段名修改 DROP PRIMARY KEY -- 删除主键(删除主键前需删除其AUTO_INCREMENT属性) DROP INDEX 索引名 -- 删除索引 DROP FOREIGN KEY 外键 -- 删除外键-- 删除表 DROP TABLE[ IF EXISTS] 表名 ...
-- 清空表数据 TRUNCATE [TABLE] 表名
-- 复制表结构 CREATE TABLE 表名 LIKE 要复制的表名
-- 复制表结构和数据 CREATE TABLE 表名 [AS] SELECT * FROM 要复制的表名
-- 检查表是否有错误 CHECK TABLE tbl_name [, tbl_name] ... [option] ...
-- 优化表 OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
-- 修复表 REPAIR [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ... [QUICK] [EXTENDED] [USE_FRM]
-- 分析表 ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
复制代码


更多相关的操作基础知识点请参阅以下文章:


MySQL 多实例配置

MySQL数据库入门——多实例配置

MySQL 主从同步复制

MySQL 复制有两种方法:
  • 传统方式:基于主库的 bin-log 将日志事件和事件位置复制到从库,从库再加以 应用来达到主从同步的目的。

  • Gtid 方式:global transaction identifiers 是基于事务来复制数据,因此也就不 依赖日志文件位置,同时又能更好的保证主从库数据一致性。


MySQL数据库主从同步实战过程


MySQL 主从同步架构中你不知道的“坑”(上)


MySQL 主从同步架构中你不知道的“坑”(下)

MySQL 复制有多种类型:
  • 异步复制:一个主库,一个或多个从库,数据异步同步到从库。

  • 同步复制:在 MySQL Cluster 中特有的复制方式。

  • 半同步复制:在异步复制的基础上,确保任何一个主库上的事务在提交之前至 少有一个从库已经收到该事务并日志记录下来。

  • 延迟复制:在异步复制的基础上,人为设定主库和从库的数据同步延迟时间, 即保证数据延迟至少是这个参数。


MySQL 主从复制延迟解决方案:高可用数据库主从复制延时的解决方案

MySQL 数据备份与恢复

数据备份多种方式:
  • 物理备份是指通过拷贝数据库文件的方式完成备份,这种备份方式适用于数据库很大,数据重要且需要快速恢复的数据库

  • 逻辑备份是指通过备份数据库的逻辑结构(create database/table 语句)和数据内容(insert 语句或者文本文件)的方式完成备份。这种备份方式适用于数据库不是很大,或者你需要对导出的文件做一定的修改,又或者是希望在另外的不同类型服务器上重新建立此数据库的情况

  • 通常情况下物理备份的速度要快于逻辑备份,另外物理备份的备份和恢复粒度范围为整个数据库或者是单个文件。对单表是否有恢复能力取决于存储引擎,比如在 MyISAM 存储引擎下每个表对应了独立的文件,可以单独恢复;但对于 InnoDB 存储引擎表来说,可能每个表示对应了独立的文件,也可能表使用了共享数据文件

  • 物理备份通常要求在数据库关闭的情况下执行,但如果是在数据库运行情况下执行,则要求备份期间数据库不能修改

  • 逻辑备份的速度要慢于物理备份,是因为逻辑备份需要访问数据库并将内容转化成逻辑备份需要的格式;通常输出的备份文件大小也要比物理备份大;另外逻辑备份也不包含数据库的配置文件和日志文件内容;备份和恢复的粒度可以是所有数据库,也可以是单个数据库,也可以是单个表;逻辑备份需要再数据库运行的状态下执行;它的执行工具可以是 mysqldump 或者是 select … into outfile 两种方式

  • 生产数据库备份方案:高逼格企业级MySQL数据库备份方案

  • MySQL 数据库物理备份方式:Xtrabackup实现数据的备份与恢复

MySQL 高可用架构设计与实战

先来了解一下 MySQL 高可用架构简介:浅谈MySQL集群高可用架构
MySQL 高可用方案:MySQL 同步复制及高可用方案总结
官方也提供一种高可用方案:官方工具|MySQL Router 高可用原理与实战
MHA
  • MHA(Master High Availability)目前在 MySQL 高可用方面是一个相对成熟的解决方案,该软件由两部分组成:MHA Manager(管理节点)和 MHA Node(数据节点。

  • MHA Manager: 可以单独部署在一台独立的机器上管理多个 master-slave 集群,也可以部署在一台 slave 节点上。

  • MHA Node: 行在每台 MySQL 服务器上。

  • MHA Manager 会定时探测集群中的 master 节点,当 master 出现故障时,它可以自动将最新数据的 slave 提升为新的 master,然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明。


MHA 高可用方案实战:MySQL集群高可用架构之MHA

MGR
  • Mysql Group Replication(MGR)是从 5.7.17 版本开始发布的一个全新的高可用和高扩张的 MySQL 集群服务。

  • 高一致性,基于原生复制及 paxos 协议的组复制技术,以插件方式提供一致数据安全保证;

  • 高容错性,大多数服务正常就可继续工作,自动不同节点检测资源征用冲突,按顺序优先处理,内置动防脑裂机制;

  • 高扩展性,自动添加移除节点,并更新组信息;

  • 高灵活性,单主模式和多主模式。单主模式自动选主,所有更新操作在主进行;多主模式,所有 server 同时更新。

MySQL 数据库读写分离高可用

海量数据的存储和访问成为了系统设计的瓶颈问题,日益增长的业务数据,无疑对数据库造成了相当大的负载,同时对于系统的稳定性和扩展性提出很高的要求。随着时间和业务的发展,数据库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作的开销也会越来越大;另外,无论怎样升级硬件资源,单台服务器的资源(CPU、磁盘、内存、网络 IO、事务数、连接数)总是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。分表、分库和读写分离可以有效地减小单台数据库的压力。


MySQL 读写分离高可用架构实战案例:


ProxySQL+Mysql实现数据库读写分离实战


Mysql+Mycat实现数据库主从同步与读写分离

MySQL 性能优化

史上最全的MySQL高性能优化实战总结!
MySQL 索引原理:MySQL 的索引是什么?怎么优化?
  • 顾名思义,B-tree 索引使用 B-tree 的数据结构存储数据,不同的存储引擎以不同的方式使用 B-Tree 索引,比如 MyISAM 使用前缀压缩技术使得索引空间更小,而 InnoDB 则按照原数据格式存储,且 MyISAM 索引在索引中记录了对应数据的物理位置,而 InnoDB 则在索引中记录了对应的主键数值。B-Tree 通常意味着所有的值都是按顺序存储,并且每个叶子页到根的距离相同。

  • B-Tree 索引驱使存储引擎不再通过全表扫描获取数据,而是从索引的根节点开始查找,在根节点和中间节点都存放了指向下层节点的指针,通过比较节点页的值和要查找值可以找到合适的指针进入下层子节点,直到最下层的叶子节点,最终的结果就是要么找到对应的值,要么找不到对应的值。整个 B-tree 树的深度和表的大小直接相关。

  • 全键值匹配:和索引中的所有列都进行匹配,比如查找姓名为 zhang san,出生于 1982-1-1 的人

  • 匹配最左前缀:和索引中的最左边的列进行匹配,比如查找所有姓为 zhang 的人

  • 匹配列前缀:匹配索引最左边列的开头部分,比如查找所有以 z 开头的姓名的人

  • 匹配范围值:匹配索引列的范围区域值,比如查找姓在 li 和 wang 之间的人

  • 精确匹配左边列并范围匹配右边的列:比如查找所有姓为 Zhang,且名字以 K 开头的人

  • 只访问索引的查询:查询结果完全可以通过索引获得,也叫做覆盖索引,比如查找所有姓为 zhang 的人的姓名


MySQL 常用30种SQL查询语句优化方法|MySQL太慢?试试这些诊断思路和工具

MySQL 表分区介绍:一文彻底搞懂MySQL分区
  • 可以允许在⼀个表⾥存储更多的数据,突破磁盘限制或者⽂件系统限制。

  • 对于从表⾥将过期或历史的数据移除在表分区很容易实现,只要将对应的分区移除即可

  • 对某些查询和修改语句来说,可以⾃动将数据范围缩⼩到⼀个或⼏个表分区上,优化语句执⾏效率。⽽且可以通过显示指定表分区来执⾏语句,⽐如 select * from temp partition(p1,p2) where store_id < 5;

  • 表分区是将⼀个表的数据按照⼀定的规则⽔平划分为不同的逻辑块,并分别进⾏物理存储,这个规则就叫做分区函数,可以有不同的分区规则。

  • MySQL5.7 版本可以通过 show plugins 语句查看当前 MySQL 是否⽀持表分区功能。

  • MySQL8.0 版本移除了 show plugins⾥对 partition 的显示,但社区版本的表分区功能是默认开启的。

  • 但当表中含有主键或唯⼀键时,则每个被⽤作分区函数的字段必须是表中唯⼀键和主键的全部或⼀部分,否则就⽆法创建分区表。

MySQL 分库分表

  • 能不分就不分,1000 万以内的表,不建议分片,通过合适的索引,读写分离等方式,可以很好的解决性能问题。

  • 分片数量尽量少,分片尽量均匀分布在多个 DataHost 上,因为一个查询 SQL 跨分片越多,则总体性能越差,虽然要好于所有数据在一个分片的结果,只在必要的时候进 行扩容,增加分片数量。

  • 分片规则需要慎重选择,分片规则的选择,需要考虑数据的增长模式,数据的访 问模式,分片关联性问题,以及分片扩容问题,最近的分片策略为范围分片,枚举分片, 一致性 Hash 分片,这几种分片都有利于扩容。

  • 尽量不要在一个事务中的 SQL 跨越多个分片,分布式事务一直是个不好处理的问题。

  • 查询条件尽量优化,尽量避免 Select * 的方式,大量数据结果集下,会消耗大量 带宽和 CPU 资源,查询尽量避免返回大量结果集,并且尽量为频繁使用的查询语句建立索引。


数据库分库分表概述:数据库分库分表,何时分?怎样分?


Mysql 分库分表方案:MySQL 分库分表方案,总结的非常好!


Mysql 分库分表的思路:解救 DBA—数据库分库分表思路及案例分析

MySQL 性能监控

MySQL 性能监控的指标大体可以分为以下 4 大类:


  • 查询吞吐量

  • 查询延迟与错误

  • 客户端连接与错误

  • 缓冲池利用率


对于 MySQL 性能监控,官方也提供了相关的服务插件:MySQL-Percona,下面简单介绍一下插件的安装


[root@db01 ~]# yum -y install php php-mysql[root@db01 ~]# wget https://www.percona.com/downloads/percona-monitoring-plugins/percona-monitoring-plugins-1.1.8/binary/redhat/7/x86_64/percona-zabbix-templates-1.1.8-1.noarch.rpm[root@db01 ~]# rpm -ivh percona-zabbix-templates-1.1.8-1.noarch.rpmwarning: percona-zabbix-templates-1.1.8-1.noarch.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEYPreparing... ################################# [100%]Updating / installing...   1:percona-zabbix-templates-1.1.8-1 ################################# [100%]
Scripts are installed to /var/lib/zabbix/percona/scriptsTemplates are installed to /var/lib/zabbix/percona/templates
复制代码


最后,可以配合其它监控工具来实现对 MySQL 的性能监控。


MySQL 服务器配置插件:


  • 修改 php 脚本连接 MySQL 的 monitor@localhost 用户

  • 修改 MySQL 的 sock 文件路径


[root@db01 ~]# sed -i '30c $mysql_user = "monitor";' /var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php[root@db01 ~]# sed -i '31c $mysql_pass = "123456";' /var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php[root@db01 ~]# sed -i '33c $mysql_socket = "/tmp/mysql.sock";' /var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php
复制代码


测试是否可用( 可以从 MySQL 中获取到监控值 )


[root@db01 ~]# /usr/bin/php -q /var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php --host localhost --items gggg:12
# 确保当前文件的 属主 属组 是zabbix,否则zabbix监控取值错误。[root@db01 ~]# ll -sh /tmp/localhost-mysql_cacti_stats.txt4.0K -rw-rw-r-- 1 zabbix zabbix 1.3K Dec 5 17:34 /tmp/localhost-mysql_cacti_stats.txt
复制代码


移动 zabbix-agent 配置文件到 /etc/zabbix/zabbix_agentd.d/目录


[root@db01 ~]# mv /var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf /etc/zabbix/zabbix_agentd.d/[root@db01 ~]# systemctl restart zabbix-agent.service
复制代码


导入并配置 Zabbix 模板与主机:


默认模板监控时间为 5 分钟 ( 当前测试修改为 30s) 同时也要修改 Zabbix 模板时间


# 如果要修改监控获取值的时间不但要在zabbix面板修改取值时间,bash脚本也要修改。[root@db01 scripts]# sed -n '/TIMEFLM/p' /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.shTIMEFLM=`stat -c %Y /tmp/$HOST-mysql_cacti_stats.txt`if [ `expr $TIMENOW - $TIMEFLM` -gt 300 ]; then   # 这个 300 代表 300s 同时也要修改。
复制代码


默认模板版本为 2.0.9,无法在 4.0 版本使用,可以先从 3.0 版本导出,然后再导入 4.0 版本 。


Zabbix自带模板监控MySQL服务


其实,在实际生产过程中,还是有相关的专业监控数据库的第三方开源软件的,民工哥之前也写过相关的文章,今天发出来供大家参考:强大的开源企业级数据库监控利器Lepus

MySQL 管理工具

MySQL 是最广泛使用和流行的开源数据库之一,围绕它有许多工具,可以让设计,创建和管理数据库的过程变得更加容易和便捷。但是如何选择最适合自己需求的工具,并不容易。这里为大家推荐:10款MySQL的GUI工具,它们对开发人员和 DBA 来说都是不错的解决方案。


很早之前民工哥就给大家介绍过一款开源的 SQL 管理工具:自动补全、回滚!介绍一款可视化 sql 诊断利器


今天,民工哥再给大家推荐一款 SQL 审核利器: MySQL 自动化运维工具 goinception


可视化管理工具,大家可以试试这个:介绍一款免费好用的可视化数据库管理工具

MySQL 常见错误代码说明

先给大家看几个实例的错误分析与解决方案。


  • 1.ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/data/mysql/mysql.sock'


问题分析:可能是数据库没有启动或者是端口被防火墙禁止。


解决方法:启动数据库或者防火墙开放数据库监听端口。


  • 2.ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)


问题分析:密码不正确或者没有权限访问。


解决方法:


1)修改 my.cnf 主配置文件,在[mysqld]下添加 skip-grant-tables,重启数据库。最后修改密码命令如下:


mysql> use mysql;mysql> update user set password=password("123456") where user="root";
复制代码


再删除刚刚添加的 skip-grant-tables 参数,再重启数据库,使用新密码即可登录。


2)重新授权,命令如下:


mysql> grant all on *.* to 'root'@'mysql-server' identified by '123456';
复制代码


  • 3.客户端报 Too many connections


问题分析:连接数超出 Mysql 的最大连接限制。


解决方法:


  • 1、在 my.cnf 配置文件里面增加连接数,然后重启 MySQL 服务。max_connections = 10000

  • 2、临时修改最大连接数,重启后不生效。需要在 my.cnf 里面修改配置文件,下次重启生效。


set GLOBAL max_connections=10000;
复制代码


  • 4.Warning: World-writable config file '/etc/my.cnf' is ignored ERROR! MySQL is running but PID file could not be found


问题分析:MySQL 的配置文件/etc/my.cnf 权限不对。


解决方法:


chmod 644 /et/my.cnf
复制代码


  • 5.InnoDB: Error: page 14178 log sequence number 29455369832 InnoDB: is in the future! Current system log sequence number 29455369832


问题分析:innodb 数据文件损坏。


解决方法:修改 my.cnf 配置文件,在[mysqld]下添加 innodb_force_recovery=4, 启动数据库后备份数据文件,然后去掉该参数,利用备份文件恢复数据。


  • 6.从库的 Slave_IO_Running 为 NO


问题分析:主库和从库的 server-id 值一样.


解决方法:修改从库的 server-id 的值,修改为和主库不一样,比主库低。修改完后重启,再同步即可!


  • 7.从库的 Slave_IO_Running 为 NO 问题


问题分析:造成从库线程为 NO 的原因会有很多,主要原因是主键冲突或者主库删除或更新数据, 从库找不到记录,数据被修改导致。通常状态码报错有 1007、1032、1062、1452 等。


解决方法一:


mysql> stop slave;mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;mysql> start slave;
复制代码


解决方法二:设置用户权限,设置从库只读权限


set global read_only=true;8.Error initializing relay log position: I/O error reading the header from the binary log
复制代码


分析问题:从库的中继日志 relay-bin 损坏.解决方法:手工修复,重新找到同步的 binlog 和 pos 点,然后重新同步即可。


mysql> CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.xxx',MASTER_LOG_POS=xxx; 
复制代码


维护过 MySQL 的运维或 DBA 都知道,经常会遇到的一些错误信息中有一些类似 10xx 的代码。


Replicate_Wild_Ignore_Table:         Last_Errno: 1032         Last_Error: Could not execute Update_rows event on table xuanzhi.test; Can't find record in 'test', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql-bin.000004, end_log_pos 3704
复制代码


但是,如果不深究或者之前遇到过,还真不太清楚,这些代码具体的含义是什么?这也给我们排错造成了一定的阻碍。


所以,今天民工哥就把主从同步过程中一些常见的错误代码,它的具体说明给大家整理出来了:建议收藏备查!MySQL 常见错误代码说明

MySQL 开发规范与使用技巧

命名规范

  • 1.库名、表名、字段名必须使用小写字母,并采用下划线分割。

  • a)MySQL 有配置参数 lower_case_table_names,不可动态更改,Linux 系统默认为 0,即库表名以实际情况存储,大小写敏感。如果是 1,以小写存储,大小写不敏感。如果是 2,以实际情况存储,但以小写比较。

  • b)如果大小写混合使用,可能存在 abc,Abc,ABC 等多个表共存,容易导致混乱。

  • c)字段名显示区分大小写,但实际使⽤用不区分,即不可以建立两个名字一样但大小写不一样的字段。

  • d)为了统一规范, 库名、表名、字段名使用小写字母。

  • 2.库名、表名、字段名禁止超过 32 个字符。

  • 库名、表名、字段名支持最多 64 个字符,但为了统一规范、易于辨识以及减少传输量,禁止超过 32 个字符。

  • 3.使用 INNODB 存储引擎。

  • INNODB 引擎是 MySQL5.5 版本以后的默认引擘,支持事务、行级锁,有更好的数据恢复能力、更好的并发性能,同时对多核、大内存、SSD 等硬件支持更好,支持数据热备份等,因此 INNODB 相比 MyISAM 有明显优势。

  • 4.库名、表名、字段名禁止使用 MySQL 保留字。

  • 当库名、表名、字段名等属性含有保留字时,SQL 语句必须用反引号引用属性名称,这将使得 SQL 语句书写、SHELL 脚本中变量的转义等变得⾮非常复杂。

  • 5.禁止使用分区表。

  • 分区表对分区键有严格要求;分区表在表变大后,执⾏行 DDL、SHARDING、单表恢复等都变得更加困难。因此禁止使用分区表,并建议业务端手动 SHARDING。

  • 6.建议使用 UNSIGNED 存储非负数值。

  • 同样的字节数,非负存储的数值范围更大。如 TINYINT 有符号为 -128-127,无符号为 0-255。

  • 7.建议使用 INT UNSIGNED 存储 IPV4。

  • 用 UNSINGED INT 存储 IP 地址占用 4 字节,CHAR(15)则占用 15 字节。另外,计算机处理整数类型比字符串类型快。使用 INT UNSIGNED 而不是 CHAR(15)来存储 IPV4 地址,通过 MySQL 函数 inet_ntoa 和 inet_aton 来进行转化。IPv6 地址目前没有转化函数,需要使用 DECIMAL 或两个 BIGINT 来存储。


例如:


SELECT INET_ATON('209.207.224.40'); 3520061480SELECT INET_NTOA(3520061480);209.207.224.40
复制代码


  • 8.强烈建议使用 TINYINT 来代替 ENUM 类型。

  • ENUM 类型在需要修改或增加枚举值时,需要在线 DDL,成本较高;ENUM 列值如果含有数字类型,可能会引起默认值混淆。

  • 9.使用 VARBINARY 存储大小写敏感的变长字符串或二进制内容。

  • VARBINARY 默认区分大小写,没有字符集概念,速度快。

  • 10.INT 类型固定占用 4 字节存储

  • 例如 INT(4)仅代表显示字符宽度为 4 位,不代表存储长度。数值类型括号后面的数字只是表示宽度而跟存储范围没有关系,比如 INT(3)默认显示 3 位,空格补齐,超出时正常显示,Python、Java 客户端等不具备这个功能。

  • 11.区分使用 DATETIME 和 TIMESTAMP。

  • 存储年使用 YEAR 类型。存储日期使用 DATE 类型。存储时间(精确到秒)建议使用 TIMESTAMP 类型。

  • DATETIME 和 TIMESTAMP 都是精确到秒,优先选择 TIMESTAMP,因为 TIMESTAMP 只有 4 个字节,而 DATETIME8 个字节。同时 TIMESTAMP 具有自动赋值以及⾃自动更新的特性。注意:在 5.5 和之前的版本中,如果一个表中有多个 timestamp 列,那么最多只能有一列能具有自动更新功能。


如何使用 TIMESTAMP 的自动赋值属性?


a)自动初始化,而且自动更新:column1 TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATECURRENT_TIMESTAMP
b)只是自动初始化:column1 TIMESTAMP DEFAULT CURRENT_TIMESTAMP
c)自动更新,初始化的值为0:column1 TIMESTAMP DEFAULT 0 ON UPDATE CURRENT_TIMESTAMP
d)初始化的值为0:column1 TIMESTAMP DEFAULT 0
复制代码


  • 12.索引字段均定义为 NOT NULL。

  • a)对表的每一行,每个为 NULL 的列都需要额外的空间来标识。

  • b)B 树索引时不会存储 NULL 值,所以如果索引字段可以为 NULL,索引效率会下降。

  • c)建议用 0、特殊值或空串代替 NULL 值。


详细的可参阅以下文章


MySQL 高频企业面试题

学好知识,当然就得去面试,进大厂,拿高薪。但是进入面试之前,必要的准备是必须的,刷题是其中之一。

Linux运维必会的100道MySql面试题之(一)
Linux运维必会的100道MySql面试题之(二)
Linux运维必会的100道MySql面试题之(三)
Linux运维必会的100道MySql面试题之(四)

以下内容主要受众为开发人员,所以不涉及到 MySQL 的服务部署等操作,且内容较多,大家准备好耐心和瓜子矿泉水.


前一阵系统的学习了一下 MySQL,也有一些实际操作经验,偶然看到一篇和 MySQL 相关的面试文章,发现其中的一些问题自己也回答不好,虽然知识点大部分都知道,但是无法将知识串联起来.


因此决定搞一个 MySQL 灵魂 100 问,试着用回答问题的方式,让自己对知识点的理解更加深入一点.


此文不会事无巨细的从 select 的用法开始讲解 mysql,主要针对的是开发人员需要知道的一些 MySQL 的知识点,主要包括索引,事务,优化等方面,以在面试中高频的问句形式给出答案.


MySQL 高频面试题,都在这了


史上最全的大厂Mysql面试题在这里

MySQL 用户行为安全

  • 假设这么一个情况,你是某公司 mysql-DBA,某日突然公司数据库中的所有被人为删了。

  • 尽管有数据备份,但是因服务停止而造成的损失上千万,现在公司需要查出那个做删除操作的人。

  • 但是拥有数据库操作权限的人很多,如何排查,证据又在哪?

  • 是不是觉得无能为力?

  • mysql 本身并没有操作审计的功能,那是不是意味着遇到这种情况只能自认倒霉呢?

发布于: 2021 年 04 月 18 日阅读数: 278
用户头像

民工哥

关注

公众号:民工哥技术之路 微信mingongge2019 2018.04.16 加入

10多年 IT 职场老司机,坚持自学一路从技术小白成长为互联网企业信息技术部门的负责人。 《Linux系统运维指南 从入门到企业实战》作者。专注Linux系统、架构、集群、分布式、中间件等后端开源技术分享。

评论

发布
暂无评论
最新、最全、最详细的 MySQL 数据库学习笔记总结(2021最新版)