一、日志
1、错误日志
MySQL中最重要的日志之一,记录了当 mysqId 启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息当数据库出现任何故障导致无法正常使用时,建议首先查看此日志。
日志默认开启,默认存放 /var/log/,默认文件名 mysqld.log 。查看日志位置:
show variables like '%log_error%'
2、二进制日志(BINLOG)
记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言)语句,但不包括数据查询(SELECT、SHOW)语句。
- 作用:①灾难时的数据恢复;②MySQL的主从复制。
在mysql8版本中,默认二进制日志是开启着的,涉及到的参数如下:
show variables like '%log_bin%'
- 日志格式
MySQL服务器中提供了多种格式来记录二进制记录,具体格式及特点如下:
日志格式 | 含义 |
statement | 基于SQL语句的日志记录,记录的是SQL语句,对数据进行修改的SQL都会记录在日志文件中。 |
row | 基于行的日志记录,记录的是每一行的数据变更。(默认) |
mined | 混合了STATEMENT和ROW两种格式,默认采用STATEMENT,在某些特殊情况下会自动切换为ROW进行记录。 |
查看参数方式:show variables like ‘%binlog_format%’;
- 日志查看
日志是以二进制方式存储,需通过二进制日志查询工具 mysqlbinlog 来查看,具体语法:
mysqlbinlog [参数选项] logfilename
参数选项:
-d 指定数据库名称,只列出指定的数据库相关的操作。
-o 忽略掉日志中的前n行命令。
-v 将行事件(数据变更)重构为SOL语句。
-w 将行事件(数据变更)重构为SQL语句,并输出注释信息
- 日志删除
复杂系统每天生成的数据量巨大。可通过以下几种方式清理:
指令 | 含义 |
reset master | 删除全部 binlog 日志,删除之后,日志编号,将从 binlog.000001重新开始 |
purge master logs to ‘binlog.***’ | 删除 *** 编号之前的所有日志 |
purge master logs before ‘yyyy-mm-dd hh24:mi:ss’ | 删除日志为”yyyy-mm-dd hh24:mi:ss”之前产生的所有日志 |
也可在mysql的配置文件中配置二进制日志的过期时间,设置后,二进制日志过期会自动删除.
show variables like '%binlog_expire_logs_seconds%'
3、查询日志
记录客户端的所有操作语句,而二进制日志不包含查询数据的SQL语句。
默认查询日志不开启。若需开启查询日志,可设置一下配置:
修改MySQL的配置文件 /etc/my.cnf 文件,添加如下内容:
#该选项用来开启查询日志,可选值:0或者1;0代表关闭,1代表开启
general_log=1
#设置日志的文件名 , 如果没有指定,默认的文件名为 host_name.log
general_log_file=mysql_query.log
4、慢查询日志
记录所有执行时间超过参数 long_query_time 设置值并且扫描记录数不小于 min_examined_row_limit的所有的SQL语句的日志,默认未开启。
long_query_time 默认为10s,最小为0s,精度可以到微秒。
# 慢查询日志
slow_query_log=1
# 执行时间参数
long_query_time=2
默认不会记录管理语句,也不记录不使用索引进行查找的查询。可使用log_slow_admin_statements和更改此行为log_queries_not_using_indexes。
如下所述:
#记录执行较慢的管理语句
log_slow_admin_statements = 1
#记录执行较慢的未使用索引的语句
log_queries_not_using_indexes = 1
二、主从复制
1、概述
主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从库服务器中,然后在从库上对这些日志重新执行(也叫重做),从而使得从库和主库的数据保持同步。
MySQL支持一台主库同时向多台从库进行复制,从库同时也可以作为其他从服务器的主库,实现链状复制。
- MySQL复制的有点主要包含以下三个方面:
- 库出现问题,可以快速切换到从库提供服务。
- 实现读写分离,降低主库的访问压力。
- 可以在从库中执行备份,以避免备份期间影响主库服务。
2、原理
3、搭建实现
- 主库配置
- 从库配置
- 测试
1、在主库上创建数据库、表,并插入数据
create database db01;
use db01;
create table tb_use(
id int(11) primary key not null auto_increment,
name varchar(50) not null,
sex varchar(1)
)engine=innodb default charset=utf8mb4;
insert into tb_user(id, name, sex) valurs (null, 'Tom', '1'), (null, 'Trigger', '0'), (null, 'Dawn', '1');
2、在从库中查询数据,验证主从是否同步。
三、分库分表
1、介绍
- 问题分析
- 拆分策略
- 垂直拆分
- 水平拆分
- 实现技术
2、Mycat概述
- 介绍
Mycat是开源的、活跃的、基于Java语言编写的MySQL数据库中间件。可以像使用mysql一样来使用Mycat,对于开发人员来说根本感觉不到Mycat的存在。
- 优势:
- 性能可靠稳定
- 强大的技术团队
- 体系完善
- 社区活跃
- 安装
- 概念介绍
3、Mycat入门
- 需求
- 分片配置
- 启动服务
- 分片测试
4、Mycat配置
- schema.xml: Mycat中最重要的配置文件之一,涵盖了Mycat的逻辑库 、逻辑表 、分片规则、分片节点及数据源的配置.
- 主要包含以下三组标签:
- schema标签
- datanode标签
- datahost标签
- 主要包含以下三组标签:
- rule.xml
定义所有拆分表的规则,在使用过程中可以灵活的使用分片算法,或对同一个分片算法使用不同的参数,它让分片过程可配置化。
主要包含两类标签:tableRule、Function。
5、Mycat分片
(1)垂直分库
- 垂直拆分
(2)水平分表
(3)分片规则
- 范围分片
- 取模分片
- 一致性hash算法
- 枚举分片
- 应用指定算法
- 固定hash算法
- 字符串hash解析
- 按天分片
- 按自然月分片
6、Mycat管理及监控
- Mycat原理
四、读写分离
1、介绍
2、一主一从读写分离
- 配置
3、双主双从
- 介绍
- 准备工作
- 搭建
测试:分别在两台主库Master1、Master2上执行DDL、DML语句,查看涉及到的数据库服务器的数据同步情况。
create database db01;
use db01;
create table tb_user(
id in(11)not null primary key,
name varchar(50) not null,
sex varcahr(1)
)engine=innodb default charset=utf8mb4
insert into tb user(id,name,sex) values(l,'Tom','1');
insert into tb user(id,name,sex) values(2,'Trigger','0');
insert into tb user(id,name,sex) values(3,'Dawn','1');
insert into tb user(id,name,sex) values(4,"ack Ma','1');
insertinto tb user(id,name,sex) values(5,'Coco','0');
insert into tb user(id,name,sex) values(6,'erry','1');
4、双主双从读写分离
- 配置
- 测试:登录Mycat,测试查询及更新操作,判定是否能够进行读写分离,以及读写分离的策略是否正确。当主库挂掉一个之后,是否能够自动切换。