MySQL数据库(十七)_MySQL复制

By | 2019年 11月 23日
0 Comment

MySQL复制

扩展方式： Scale Up ，Scale Out

  1. MySQL的扩展
    读写分离
    复制：每个节点都有相同的数据集
    向外扩展
    二进制日志
    单向
  2. 复制的功用
    数据分布
    读取负载均衡
    数据库备份
    高可用和故障切换
    MySQL升级测试

一主一从

一个主服务器，一个从服务器

一主多从

一个主服务器，多个从服务器

主从复制原理

要使用主从复制，需开启二进制日志功能。主服务器有数据更新，会写入二进制日志，由slave服务线程通过网络传给从服务器，从服务器使用io线程来处理写入从服务器的中继日志，SQL线程从中继日志获取写到数据库中。
2个日志，3个线程：
1. 一个是主服务器的二进制日志，一个是从服务器的二进制日志
2. 一个是主服务器上的slave服务线程，一个是从服务器的io线程，一个是从服务器的SQL线程

MySQL垂直分区

MySQL水平分片（Sharding）

对应shard中查询相关数据

主从复制线程：

  1. 主节点：
    dump Thread：为每个Slave的I/O Thread启动一个dump线程，用于向其发送binary log events
  2. 从节点：
    I/O Thread：向Master请求二进制日志事件，并保存于中继日志中
    SQL Thread：从中继日志中读取日志事件，在本地完成重放
  3. 跟复制功能相关的文件：
    master.info：用于保存slave连接至master时的相关信息，例如账号、密码、服务器地址等
    relay-log.info：保存在当前slave节点上已经复制的当前二进制日志和本地replay log日志的对应关系
  4. 主从复制特点：
    • 异步复制
    • 主从数据不一致比较常见
  5. 复制架构：
    • Master/Slave, Master/Master, 环状复制
    • 一主多从:适用于多个不同数据库
      从服务器还可以再有从服务器
  6. 复制需要考虑二进制日志事件记录格式
    • STATEMENT（5.0之前）
    • ROW（5.1之后，推荐）
    • MIXED
  7. 复制类型
    • 同步复制：等待从服务器同步完成后，才返回成功
    • 异步复制：只要主服务器写入数据成功，就返回成功

MySQL复制模型

  1. 一主一从模型
  2. 一主多从模型
  3. 一主1从1多从模型
  4. 多主1从模型
  5. 主主模型：虽然是2个主，实际上层应该还得有一个调度器，实际上就是一写一读的关系，但一旦主服务器宕机，从服务器可以提升为主服务器而不用做修改，只需要在调度器上修改即可。
  6. 环状模型
在这里插入图片描述

主从配置过程：

详情看这个：MySQL数据库_MySQL复制实验集

参看官方文档
https://mariadb.com/kb/en/library/setting-up-replication/
https://dev.mysql.com/doc/refman/5.5/en/replication-configuration.html

主节点配置：

  1. 启用二进制日志
[centos]$ vim /etc/my.cnf
    [mysqld]
    server_id=1   #为当前节点设置一个全局惟一的ID号，整数即可
    log_bin=/path   #也可以不写路径
    log-basename=master #可选项，设置datadir中日志名称，确保不依赖主机名

[centos]$ systemctl restart mariadb
  1. 创建有复制权限的用户账号
[centos]$ mysql

MariaDB [(none)]> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'%' IDENTIFIED BY 'replpass';

从节点配置：

  1. 启动中继日志
[centos]$ vim /etc/my.cnf
    [mysqld]
    server_id=2   #为当前节点设置一个全局惟的ID号
    read_only=ON   #设置数据库只读
    relay_log=relay-log    #relay log的文件路径，默认值hostname-relay-bin
    relay_log_index=relay-log.index   #默认值hostname-relay-bin.index

[centos]$ systemctl restart mariadb
  1. 使用有复制权限的用户账号连接至主服务器，并启动复制线程
mysql> CHANGE MASTER TO 
        MASTER_HOST='192.168.99.101', 
        MASTER_USER='repluser', 
        MASTER_PASSWORD='replpass', 
        MASTER_LOG_FILE=' mariadb-bin.xxxxxx', 
        MASTER_LOG_POS=#;
  1. 启动
mysql> START SLAVE;

注意：
如果主节点已经运行了一段时间，且有大量数据时，如何配置并启动slave节点
通过备份恢复数据至从服务器
复制起始位置为备份时，二进制日志文件及其POS
如果要启用级联复制,需要在从服务器启用以下配置

vim /etc/my.cnf
    [mysqld]
    log_bin
    log_slave_updates
  1. #查看从服务器运行状态
MariaDB [(none)]> show slave status;
  1. 查看线程
MariaDB [(none)]> show full processlist;

#查看主服务器的二进制日志状态
MariaDB [(none)]> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000009 |     9027 |              |                  |
+------------------+----------+--------------+------------------+

复制架构中应该注意的问题：

  1. 限制从服务器为只读
  2. 在从服务器上设置read_only=ON
    注意：此限制对拥有SUPER权限的用户均无效
  3. 阻止所有用户, 包括主服务器复制的更新
    mysql> FLUSH TABLES WITH READ LOCK
  1. 从服务器清除master.info ，relay-log.info, relay log ，开始新的relay log
RESET SLAVE
  1. 清除所有从服务器上设置的主服务器同步信息，如PORT, HOST, USER和 PASSWORD 等
RESET SLAVE ALL

注意：以上都需要先停止从服务器

  1. 从服务器忽略几个主服务器的复制事件，global变量
sql_slave_skip_counter = N
  1. 如何保证主从复制的事务安全
    参看https://mariadb.com/kb/en/library/server-system-variables/
  • 在master节点启用参数：
    sync_binlog=1 每次写后立即同步二进制日志到磁盘，性能差
    (如果用到的为InnoDB存储引擎：)
    innodb_flush_log_at_trx_commit=1 每次事务提交立即同步日志写磁盘
    innodb_support_xa=ON默认值，分布式事务MariaDB10.3.0废除
    sync_master_info=# #次事件后master.info同步到磁盘
  • 在slave节点启用服务器选项：
    skip-slave-start=ON 不自动启动slave
    (启用参数：)
    sync_relay_log=# #次写后同步relay log到磁盘
    sync_relay_log_info=# #次事务后同步relay-log.info到磁盘

主主复制

主主复制：互为主从
容易产生的问题：数据不一致；因此慎用
考虑要点：自动增长id

  1. 配置一个节点使用奇数id
    auto_increment_offset=1开始点
    auto_increment_increment=2增长幅度
  2. 另一个节点使用偶数id
    auto_increment_offset=2开始点
    auto_increment_increment=2增长幅度

主主复制的配置步骤：

  1. 各节点使用一个唯一server_id
  2. 都启动binary log和relay log
  3. 创建拥有复制权限的用户账号
  4. 定义自动增长id字段的数值范围各为奇偶
  5. 均把对方指定为主节点，并启动复制线程

详细的实验可以看：MySQL数据库_复制与代理实验集

半同步复制

默认情况下，MySQL的复制功能是异步的，异步复制可以提供最佳的性能，主库把binlog日志发送给从库即结束，并不验证从库是否接收完毕。这意味着当主服务器或从服务器端发生故障时，有可能从服务器没有接收到主服务器发送过来的binlog日志，这就会造成主服务器和从服务器的数据不一致，甚至在恢复时造成数据的丢失

在这里插入图片描述

半同步复制实现：

主服务器配置:
1. 安装插件 

mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

mysql> SET GLOBAL rpl_semi_sync_master_enabled=1;
mysql> SET GLOBAL rpl_semi_sync_master_timeout = 1000;  #超时长1s
mysql> SHOW GLOBAL VARIABLES LIKE '%semi%';
mysql> SHOW GLOBAL STATUS LIKE '%semi%';

从服务器配置: 

mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;

详细的实验可以看：MySQL数据库_复制与代理实验集

复制过滤器

让从节点仅复制指定的数据库，或指定数据库的指定表
注意：在使用复制过滤器的时候，主服务器需要使用USE DATABASE_NAME,再对表进行操作，否则复制过滤器不起作用。——来自mariadb-server-5.5.60

两种实现方式：
方式1： 服务器选项：主服务器仅向二进制日志中记录与特定数据库相关的事件
注意：此项和binlog_format相关
参看：https://mariadb.com/kb/en/library/mysqld-options/#-binlog-ignore-db
binlog-do-db = 数据库白名单列表，多个数据库需多行实现
binlog-ignore-db = 数据库黑名单列表
问题：基于二进制还原将无法实现；不建议使用

示例：

[centos]$ vim /etc/my.cnf
    [mysqld]
    binlog_log_db=db1
    binlog_ignore_db=db2

#重启服务
[centos]$ systemctl restart mariadb

可以查看列表

MariaDB [(none)]> show master status;
+--------------------+----------+--------------+------------------+
| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------------+----------+--------------+------------------+
| mariadb-bin.000002 |      245 | m1           | m3               |
+--------------------+----------+--------------+------------------+

方式2： 从服务器SQL_THREAD在relay log中的事件时，仅读取与特定数据库(特定表)相关的事件并应用于本地
问题：会造成网络及磁盘IO浪费

  1. 从服务器上的复制过滤器相关变量
#指定复制库的白名单
replicate_do_db= DATABASE_NAME

#指定复制库黑名单
replicate_ignore_db= DATABASE_NAME

#指定复制表的白名单
replicate_do_table= TABLE_NAME

#指定复制表的黑名单
replicate_ignore_table= TABLE_NAME


#支持通配符
replicate_wild_do_table= foo%.bar% 
replicate_wild_ignore_table=
  1. 可以查看相关的设置
MariaDB [m3]> show slave status \G ;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.99.101
                  Master_User: repluser
                ...     ...     ...
              Replicate_Do_DB: db3
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:

基于SSL复制：

在默认的主从复制过程或远程连接到MySQL/MariaDB所有的链接通信中的数据都是明文的，外网里访问数据或则复制，存在安全隐患。通过SSL/TLS加密的方式进行复制的方法，来进一步提高数据的安全性

配置实现：
参看：https://mariadb.com/kb/en/library/replication-with-secure-connections/

  1. 主服务器开启SSL，配置证书和私钥路径
  2. 并且创建一个要求必须使用SSL连接的复制账号
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'192.168.8.%' IDENTIFIED BY ‘magedu' REQUIRE SSL;
  1. 从服务器
    使用CHANGER MASTER TO 命令时指明ssl相关选项

实验：基于SSL复制

详情看这个：MySQL数据库_MySQL复制实验集

Master服务器配置 

vim /etc/my.cnf
    [mysqld]
    log-bin
    server_id=1
    ssl
    ssl-ca=/etc/my.cnf.d/ssl/cacert.pem
    ssl-cert=/etc/my.cnf.d/ssl/master.crt
    ssl-key=/etc/my.cnf.d/ssl/master.key

Slave服务器配置 

mysql>
CHANGE MASTER TO
MASTER_HOST='MASTERIP',
MASTER_USER='rep',
MASTER_PASSWORD='centos',
MASTER_LOG_FILE='mariadb-bin.000001',
MASTER_LOG_POS=245,
MASTER_SSL=1,
MASTER_SSL_CA = '/etc/my.cnf.d/ssl/cacert.pem',
MASTER_SSL_CERT = '/etc/my.cnf.d/ssl/slave.crt',
MASTER_SSL_KEY = '/etc/my.cnf.d/ssl/slave.key';

复制的监控和维护

  1. 清理日志
PURGE { BINARY | MASTER } LOGS { TO 'log_name' | BEFORE datetime_expr }
RESET MASTER
RESET SLAVE
  1. 复制监控
SHOW MASTER STATUS
SHOW BINARY LOGS
SHOW BINLOG EVENTS
SHOW SLAVE STATUS
SHOW PROCESSLIST
  1. 从服务器是否落后于主服务
    Seconds_Behind_Master：0
  2. 如何确定主从节点数据是否一致
    percona-tools
  3. 数据不一致如何修复
    删除从数据库，重新复制

GTID复制

GTID复制：（global transaction id 全局事务标识符） MySQL5.6版本开始支持，GTID复制不像传统的复制方式（异步复制、半同步复制）需要找到binlog和POS点，只需知道master的IP、端口、账号、密码即可。

开启GTID后，执行change master to master_auto_postion=1即可，它会自动寻找同步

  1. 修改配置文件来启用
vim /etc/my.cnf
    [mysqld]
    gtid_mode=ON  #gtid模式
    enforce_gtid_consistency #保证GTID安全的参数
在这里插入图片描述

GTID在binlog中的结构和GTID event 结构

GTID = server_uuid:transaction_id
在一组复制中，全局唯一。server_uuid 来源于 auto.cnf

GTID配置示例

详情看这个：MySQL数据库_MySQL复制实验集

主服务器 

vim /etc/my.cnf
    [mysqld]
    server-id=1
    log-bin=mysql-bin
    gtid_mode=ON
    enforce_gtid_consistency
    mysql> grant replication slave on *.* to 'repluser'@'192.168.8.%' identified by 'P@ssw0rd!';

从服务器 

vim /etc/my.cnf
    [mysqld]
    server-id=2
    gtid_mode=ON
    enforce_gtid_consistency
    mysql>CHANGE MASTER TO MASTER_HOST='192.168.8.100',
    MASTER_USER='repluser',
    MASTER_PASSWORD='P@ssw0rd!',
    MASTER_PORT=3306,
    MASTER_AUTO_POSITION=1;
    mysql>start slave;

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注