同步 on Colben Notes

MariaDB 主从复制

Mon, 13 Apr 2020 18:00:00 +0800

环境

mariadb 主服务器，centos7.8，192.168.1.141
mariadb 主服务器，centos7.8，192.168.1.142
mariadb 从服务器，centos7.8，192.168.1.143
忽略系统数据库: information_schema, mysql, performance_schema

在两个主服务器上创建用于备份的用户 replicator

1
2

grant replication slave on *.* to 'replicator'@'%' identified by 'password';
flush privileges;

在两个主服务器上修改 my.cnf

# 唯一 ID
# 192.168.1.141 配置 
server-id = 141
# 192.168.1.142 配置 
server-id = 142
read-only = 0

# binlog
# MariaDB 默认已开启 GTID
log-bin          = /var/lib/mysql-bin/master
binlog-format    = row
sync_binlog      = 1
expire-logs-days = 3
gtid-strict-mode = ON

# relay log
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = init_sql.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
relay-log                   = /var/lib/mysql-bin/slave
relay-log-recovery          = TRUE
# 复制线程数不超过 cpu 核数
slave-parallel-threads      = 4

# 双主或多主互备时，可能会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =
# 该环境中，双主配合 keepalived 实现高可用，无需配置自增

开启互主同步

-- 在 192.168.1.141 上启动 mariadb，配置同步 192.168.1.142:
change master to master_host = '192.168.1.142',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_use_gtid = slave_pos;

-- 在 192.168.1.142 上启动 mariadb，配置同步 192.168.1.141:
change master to master_host = '192.168.1.141',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_use_gtid = slave_pos;

在两个主服务器上启动 slave ，查看 slave 状态

start slave;
-- 查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

在从服务器上编辑 my.cnf

# 唯一 ID
server-id = 143
# 从服务器只做查询，无增删改
read-only = 1

# 忽略的数据表
#replicate-ignore-table     = db1.t1
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = init_sql.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
relay-log                   = /var/log/mysql-bin/slave
slave-parallel-threads      = 4

开启同步

change master 'db141' to master_host = '192.168.1.141',
                         master_port = 3306,
                         master_user = 'replicator',
                         master_password = 'password',
                         master_use_gtid = slave_pos;

change master 'db142' to master_host = '192.168.1.142',
                         master_port = 3306,
                         master_user = 'replicator',
                         master_password = 'password',
                         master_use_gtid = slave_pos;

在从服务器上启动 slave ，查看 slave 状态

start all slaves;
-- 在从服务器上查看 slave 状态
show all slaves status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

参考

Postgresql 主从

Mon, 04 Nov 2019 02:09:29 +0800

主库配置

修改 postgresql.conf

listen_address = '*'
wal_level = replica
wax_wal_senders = 10
wal_keep_segments = 64
hot_standby = on

启动主库 postgresql-10 服务
1

systemctl start postgresql-10

创建同步账户

1
2

create user replica superuser password '123456';
-- 这里可以只赋予 replication 权限，后面从库复制初始数据库时使用其他有权限帐号

修改 pg_hba.conf
1

host replication replica samenet md5

从库配置

停止从库 postgresql-10 服务，清空数据库目录

1
2

systemctl stop postgresql-10
rm -rf /var/lib/pgsql/10/data/*

从主库复制初始数据库
1 2 3 4 5 6 7 8

pg_basebackup \ -h <主库ip> \ -U replica \ -F p \ -X stream \ -P -R \ -D /var/lib/pgsql/10/data/ \ -l backup_20191104
- -h 指定连接的数据库的主机名或IP地址
- -U 指定连接的用户名
- -F 指定了输出的格式，支持p（原样输出）或者t（tar格式输出）
- -X 表示备份开始后，启动另一个流复制连接从主库接收WAL日志
- -P 表示允许在备份过程中实时的打印备份的进度
- -R 表示会在备份结束后自动生成recovery.conf文件
- -D 指定备份写入的数据目录,需要与数据库配置的数据库目录一致,初次备份之前从库的数据目录需要手动清空
- -l 表示指定一个备份的标识

检查状态

检查从库进程

1
2

ps -ef|grep postgres
# 可以看到 wal sender 和 receiver process 两个进程

从库为只读模式,无法进行增/删/改操作

主库查看 replication 客户端

`1`	`select client_addr,sync_state from pg_stat_replication;`

MySQL 主从复制

Wed, 30 Oct 2019 17:33:13 +0800

环境

mysql 主服务器，centos7.4，192.168.1.10，端口 10000
mysql 从服务器，centos7.4，192.168.1.6
要复制的数据库有 data_db、conf_db

在主服务器上创建用于备份的用户 replicator

1
2

grant replication slave  on *.* to 'replicator'@'192.168.1.6' identified by 'password';
flush privileges;

在主服务器上修改 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 10
read-only = 0

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = row
# 关注要复制的数据库，存在跨库问题
binlog-do-db = data-db
binlog-do-db = conf-db
# 忽略的数据库，存在跨库问题
#binlog-ignore-db =
#binlog 有效时间
expire-logs-days =
# GTID 复制模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在主服务器上重启 mysql，获取 master 状态

1
2
3

-- 如果 mysql 是全新安装，则无须导出数据库初态，直接查看 binlog pos 即可
-- 锁定要导出的数据库表
flush tables with read lock;

导出数据库初态

# 在主服务器的另一个终端中运行
mysqldump -uroot -p data_db > /tmp/data_db.sql
mysqldump -uroot -p conf_db > /tmp/conf_db.sql
# 复制到从服务器上
scp /tmp/data_db.sql /tmp/conf_db.sql 192.168.1.6:/tmp/

查看 binary 日志位置

show master status\G
-- 记住输出里的如下类似两行（不记录也可以，这两个信息已经写入了导出的sql文件中）
-- File: mysql-bin.000001
-- Position: 137103822
-- 解锁数据库表
unlock tables;

在从服务器上编辑 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 6
read-only = 1

# 如果该 slave 中也运行了 master，或者使用了 gtid 模式复制，则开启 binlog
#log-bin = mysql-bin
#binlog-format = row
# 把 slave 操作也计入 binlog，用于链式同步
#log-slave-updates = ON
# 指定要复制的数据库，存在跨库问题
#replicate-do-db = data_db
#replicate-do-db = conf_db
# 指定要复制的数据表，无跨库问题
replicate-do-table = db1.t1
replicate-wild-do-table = db1.%
# 忽略的数据库，存在跨库问题
#replicate-ignore-db =
# 忽略的数据表，无跨库问题
#replicate-ignore-table = db1.t1
#replicate-wild-ignore-table = db1.%
# 中继日志
relay-log = /var/lib/mysql-bin/slave
# 多线程复制
slave-parallel-type = logical-clock
slave-parallel-workers = 4
# GTID 模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在从服务器上重启 mysql，导入初态

1
2
3

-- 创建要导入的数据库
create database data_db default charset utf8mb4;
create database conf_db default charset utf8mb4;

导入数据库

1
2

msyql -uroot -p data_db < /tmp/data_db.sql
mysql -uroot -p conf_db < /tmp/conf_db.sql

开启同步

-- 基于 binlog 文件位置复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_log_file = 'mysql-bin.000001',
                        master_log_pos = 137103822;
flush privileges;
-- 基于 gtid 复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_auto_position = 1;

启动 slave，查看 slave 状态

start slave;
-- 在从服务器上查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

MySQL8 gtid 互为主从配置

[mysqld]
# ---- 固定配置 ----
datadir = /var/lib/mysql
socket = /var/lib/mysql/mysql.sock
pid-file = /var/lib/mysql/mysql.pid
log-timestamps = SYSTEM
log-error = /var/log/mysql/error.log
slow-query-log = TRUE
slow-query-log-file = /var/log/mysql/slow.log
default-authentication-plugin = mysql_native_password

# ---- 动态配置 ----
mysqlx = OFF
character-set-server = utf8mb4
default-storage-engine = innodb
lower-case-table-names = 1
#skip-name-resolve = 1
#max-user-connections = 600
#innodb-buffer-pool-size = 8G
#innodb-buffer-pool-instances = 8

# master
# 确认不同节点该 id 唯一
server-id = 1
log-bin = /var/lib/mysql-bin/master
binlog-format = ROW
#binlog-do-db = db1
binlog-expire-logs-seconds = 172800
gtid-mode = ON
enforce-gtid-consistency = TRUE

# slave
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
replicate-wild-ignore-table = sys.%
replica-parallel-workers = 2
log-replica-updates = FALSE
relay-log = /var/lib/mysql-bin/slave
relay-log-recovery = TRUE
#read-only = ON

MySQL8 gtid 多源复制从库配置

修改 my.cnf

rsync 命令

Tue, 29 Oct 2019 21:21:14 +0800

简介

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。
支持：
- 本地复制
- 与其他SSH同步
- 与rsync主机同步

rsyncd 源服务

创建 rsync 配置文件 /etc/rsyncd.conf，内容如下

# 限制客户端登陆身份为 nobody:nobody
uid = nobody
gid = nobody
# 禁锢在源目录下
use chroot = yes
# 指定监听端口，默认监听 tcp 873 端口
port = 873
# 指定监听地址，默认监听全部网卡
address = 192.168.1.101
# 允许访问的客户端地址
hosts allow = 192.168.1.0/24
max connections = 4
# 日志位置
log file = /var/log/rsyncd.log
# PID 文件位置
pid file = /var/run/rsyncd.pid
exclude = lost+found/
transfer logging = yes
timeout = 900
ignore nonreadable = yes
# 同步时不压缩的文件类型
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# 账户文件，每行格式 user:password，权限 600
secrets file = /etc/rsyncd_users.db

[data1]
# 源目录实际路径，注意该目录需要对 nobody 用户可读
path = /path/to/data1
# 描述
comment = sth about dir data1
# 只读
read only = yes
# 授权账户
auth users = backuper

创建备份帐号信息

1
2

echo 'backuper:123456' > /etc/rsyncd_users.db
chmod 0600 /etc/rsyncd_users.db

启动 rsyncd 服务
1

systemctl start rsyncd

rsync 命令选项

-r: 递归模式，包含目录及子目录中所有文件
-l: 对于符号链接文件仍然复制为符号链接文件
-p: 保留文件的权限标记
-t: 保留文件的时间标记
-g: 保留文件的属组标记(仅超级用户使用)
-o: 保留文件的属主标记(仅超级用户使用)
-D: 保留设备文件及其他特殊文件
-a: 归档模式，递归并保留对象属性，等同于 -rlptgoD
-v: 显示同步过程的详细(verbose)信息
-z: 在传输文件时进行压缩(compress)
-H: 保留硬连接文件
-A: 保留ACL属性信息
–delete: 删除目标位置有而原始位置没有的文件
–checksum: 根据对象的校验和来决定是否跳过文件
–password-file: 指定包含密码的文件

简单使用

本地复制，类似 cp 命令
1

rsync -a /etc/passwd 123.txt

与其他 ssh 同步

`1`	`rsync -av root@192.168.1.100:/root/123.txt .`

与 rsync 主机同步

1
2
3

rsync -avz backuper@192.168.1.100::data1 /root
# 或者
rsync -avz rsync://backuper@192.168.1.100/data1 /root

向同步源服务上传文件时，直接调换源参数和目的参数，注意客户端可写上传目录

参考

https://www.linuxidc.com/Linux/2019-08/160108.htm