Mysql on Colben Notes

MySQL 组复制

Tue, 28 Apr 2020 00:52:00 +0800

环境

hostname	ip	os	mysql
mysql_11	192.168.1.11	centos7.7	8.0.19
mysql_22	192.168.1.22	centos7.7	8.0.19
mysql_33	192.168.1.33	centos7.7	8.0.19

安装 mysql

懒得写了 …

修改 my.cnf

# mysql_11(选择一个)
server-id = 11
# mysql_22(选择一个)
server-id = 22
# mysql_33(选择一个)
server-id = 33

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = ROW
# 关闭 binlog 校验
binlog-checksum = NONE
# 保留 2 天的 binlog
binlog-expire-logs-seconds = 172800
# 开启 gtid
gtid-mode = ON
enforce-gtid-consistency = TRUE
# 指定 relay-log 存储位置
relay-log = /var/lib/mysql-bin/slave
# relay-log 更新计入 binlog
log-slave-updates = TRUE

# 多线程执行从库日志(可选)
slave-parallel-workers = 2
slave-parallel-type = LOGICAL_CLOCK
slave-preserve-commit-order = ON

# 存储引擎只能用 InnoDB
disabled-storage-engines = "MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"
# 加载插件，克隆插件用于快速 state transfer
plugin-load-add = "group_replication.so;mysql_clone.so"
# 集群 uuid
group-replication-group-name = "aaaa1111-bbbb-2222-cccc-3333dddd4444"

# mysql_11(选择一个)
group-replication-local-address = "192.168.1.11:33061"
# mysql_22(选择一个)
group-replication-local-address = "192.168.1.22:33061"
# mysql_33(选择一个)
group-replication-local-address = "192.168.1.33:33061"

# 种子节点
group-replication-group-seeds = "192.168.1.11:33061,192.168.1.22:33061,192.168.1.33:33061"
# 新主库在执行完自己的从库日志后，再处理用户的写请求
group-replication-consistency = BEFORE_ON_PRIMARY_FAILOVER
# 启动时，不自动创建/初始化新集群
group-replication-bootstrap-group = OFF
# 新节点启动时，先不启动组复制，待手动配置完成并确认正常后，再把 OFF 改成 ON
group-replication-start-on-boot = OFF

# 怀疑某节点不可用，2秒内，如果该嫌疑节点依旧无响应，则开除它(可选)
group-replication-member-expel-timeout = 2
# 2秒内，依旧连接不上主网(majority)，则退出组复制，进入 ERROR 状态(可选)
group-replication-unreachable-majority-timeout = 2
# 退出组复制后，不再尝试重新加入组复制，直接执行指定的退出动作(默认)
group-replication-autorejoin-tries = 0
# 指定退出动作: 数据库设置超级只读并关闭客户端连接(推荐)
group-replication-exit-state-action = OFFLINE_MODE

初始化集群

重新启动节点 mysql_11

MySQL 主从复制

Wed, 30 Oct 2019 17:33:13 +0800

环境

mysql 主服务器，centos7.4，192.168.1.10，端口 10000
mysql 从服务器，centos7.4，192.168.1.6
要复制的数据库有 data_db、conf_db

在主服务器上创建用于备份的用户 replicator

1
2

grant replication slave  on *.* to 'replicator'@'192.168.1.6' identified by 'password';
flush privileges;

在主服务器上修改 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 10
read-only = 0

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = row
# 关注要复制的数据库，存在跨库问题
binlog-do-db = data-db
binlog-do-db = conf-db
# 忽略的数据库，存在跨库问题
#binlog-ignore-db =
#binlog 有效时间
expire-logs-days =
# GTID 复制模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在主服务器上重启 mysql，获取 master 状态

1
2
3

-- 如果 mysql 是全新安装，则无须导出数据库初态，直接查看 binlog pos 即可
-- 锁定要导出的数据库表
flush tables with read lock;

导出数据库初态

# 在主服务器的另一个终端中运行
mysqldump -uroot -p data_db > /tmp/data_db.sql
mysqldump -uroot -p conf_db > /tmp/conf_db.sql
# 复制到从服务器上
scp /tmp/data_db.sql /tmp/conf_db.sql 192.168.1.6:/tmp/

查看 binary 日志位置

show master status\G
-- 记住输出里的如下类似两行（不记录也可以，这两个信息已经写入了导出的sql文件中）
-- File: mysql-bin.000001
-- Position: 137103822
-- 解锁数据库表
unlock tables;

在从服务器上编辑 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 6
read-only = 1

# 如果该 slave 中也运行了 master，或者使用了 gtid 模式复制，则开启 binlog
#log-bin = mysql-bin
#binlog-format = row
# 把 slave 操作也计入 binlog，用于链式同步
#log-slave-updates = ON
# 指定要复制的数据库，存在跨库问题
#replicate-do-db = data_db
#replicate-do-db = conf_db
# 指定要复制的数据表，无跨库问题
replicate-do-table = db1.t1
replicate-wild-do-table = db1.%
# 忽略的数据库，存在跨库问题
#replicate-ignore-db =
# 忽略的数据表，无跨库问题
#replicate-ignore-table = db1.t1
#replicate-wild-ignore-table = db1.%
# 中继日志
relay-log = /var/lib/mysql-bin/slave
# 多线程复制
slave-parallel-type = logical-clock
slave-parallel-workers = 4
# GTID 模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在从服务器上重启 mysql，导入初态

1
2
3

-- 创建要导入的数据库
create database data_db default charset utf8mb4;
create database conf_db default charset utf8mb4;

导入数据库

1
2

msyql -uroot -p data_db < /tmp/data_db.sql
mysql -uroot -p conf_db < /tmp/conf_db.sql

开启同步

-- 基于 binlog 文件位置复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_log_file = 'mysql-bin.000001',
                        master_log_pos = 137103822;
flush privileges;
-- 基于 gtid 复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_auto_position = 1;

启动 slave，查看 slave 状态

start slave;
-- 在从服务器上查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

MySQL8 gtid 互为主从配置

[mysqld]
# ---- 固定配置 ----
datadir = /var/lib/mysql
socket = /var/lib/mysql/mysql.sock
pid-file = /var/lib/mysql/mysql.pid
log-timestamps = SYSTEM
log-error = /var/log/mysql/error.log
slow-query-log = TRUE
slow-query-log-file = /var/log/mysql/slow.log
default-authentication-plugin = mysql_native_password

# ---- 动态配置 ----
mysqlx = OFF
character-set-server = utf8mb4
default-storage-engine = innodb
lower-case-table-names = 1
#skip-name-resolve = 1
#max-user-connections = 600
#innodb-buffer-pool-size = 8G
#innodb-buffer-pool-instances = 8

# master
# 确认不同节点该 id 唯一
server-id = 1
log-bin = /var/lib/mysql-bin/master
binlog-format = ROW
#binlog-do-db = db1
binlog-expire-logs-seconds = 172800
gtid-mode = ON
enforce-gtid-consistency = TRUE

# slave
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
replicate-wild-ignore-table = sys.%
replica-parallel-workers = 2
log-replica-updates = FALSE
relay-log = /var/lib/mysql-bin/slave
relay-log-recovery = TRUE
#read-only = ON

MySQL8 gtid 多源复制从库配置

修改 my.cnf

安装 MySQL

Wed, 30 Oct 2019 13:00:37 +0800

CentOS7 yum 安装 MySQL5.7

环境

CentOS 7.4 x86_64 最小安装
MySQL 5.7.20

安装 mysql yum 源

下载 rpm 包

1
2
3

# repo 地址: https://repo.mysql.com/
cd /root/
curl -O https://repo.mysql.com/mysql57-community-release-el7.rpm

安装 mysql 源

`1`	`rpm -ivh /root/mysql57-community-release-el7.rpm`

更新 yum 缓存
1 2

yum clean all yum makecache fast

安装 mysql

yum 安装 mysql 包
1

yum install mysql-community-server
启动 mysql

Mysql 笔记

Wed, 30 Oct 2019 11:51:23 +0800

MySQL 5.7 配置文件 my.cnf

[mysqld]
datadir                        = /db/mysql
socket                         = /var/lib/mysql/mysql.sock
symbolic-links                 = 0
log-timestamps                 = SYSTEM
slow-query-log                 = 1
slow-query-log-file            = /var/log/mysqld/slow.log
long-query-time                = 8
#log-queries-not-using-indexes  = 1
log-error                      = /var/log/mysqld/error.log
pid-file                       = /var/run/mysqld/mysqld.pid
max-connections                = 1000
max-connect-errors             = 1000
max-user-connections           = 600
interactive-timeout            = 3600
wait-timeout                   = 3600
skip-name-resolve              = 1
lower-case-table-names         = 1
default-time-zone              = '+08:00'
character-set-server           = utf8mb4
sql-mode                       = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
bind-address                   = 0.0.0.0
table-open-cache               = 2048
default-storage-engine         = innodb
innodb-autoinc-lock-mode       = 2
innodb-flush-log-at-trx-commit = 0
# 建议物理内存一半
innodb-buffer-pool-size        = 8G
innodb-buffer-pool-instances   = 8
max-allowed-packet             = 512M
query-cache-size               = 0
query-cache-type               = 0
# 建议点分 ip 的最后一个数字
server-id                      = 123
# bin log
#binlog-format                  = ROW
#log-bin                        = /var/lib/mysql/mysql-bin
#expire-logs-days               = 3
# relay log
#read-only                      = 1
#replicate-wild-do-table        = db1.%
#relay-log                      = /var/lib/mysql/mysql-relay-bin
#slave-parallel-type            = logical-clock

复制表结构

1
2

create table db1.t1 like db2.t2;
create table db1.t1 select db2.t2 where 1=2;

复制表结构及其数据

`1`	`create table db1.t1 select db2.t2 [where ...]`

复制表数据

1
2

insert into db2.t2(column1, column2 ...)
    select column1, column2 ... from db1.t1 [where ...]

通过复制表文件来复制表数据

在db2中创建同结构表

Sqoop 笔记

Wed, 30 Oct 2019 11:35:48 +0800

把 mysql 表数据导入 hive 中

命令格式
1

sqoop import {参数列表}

默认在 hive 中创建指定表，如果该表已存在，则把 mysql 表数据追加到该表中，常规参数如下

--connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
--username _mysql_user_
--password _mysql_password_
--table _mysql_tablename_
--hive-import
--hive-database _hive_dbname_
--hive-table _hive_tablename_
--hive-drop-import-delims
-m 1

如果该表已存在，则报错退出，参数如下
1

--create-hive-table
如果该表已存在，则覆盖重新导入，参数如下
1

--hive-overwrite

导入增量数据，参数如下

1
2
3

--incremental append
--check-column _mysql_tablecolumn_
--last-value _last_value_

把 hive 表数据导入 mysql 中

命令格式
1

sqoop export {参数列表}

mysql 中需提前创建好待导入的表，常规参数如下

--connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
--username _mysql_username_
--password _mysql_password_
--table _mysql_tablename_
--hcatalog-database _hive_dbname_
--hcatalog-table _hive_tablename_

只导出 hive 表中的部分的指定(部分)字段，参数如下
1

--columns "_column_name1_,_column_name2_,_column_name3_"

CentOS7 安装 Mysql Galera 集群

Wed, 30 Oct 2019 11:13:44 +0800

环境

cpu	mem	hostname	public ip	cluster ip	CentOS	MySQL
双核	2GB	mysql_1	10.0.0.231	10.10.10.1	7.5	5.7
双核	2GB	mysql_2	10.0.0.232	10.10.10.2	7.5	5.7
双核	2GB	mysql_3	10.0.0.233	10.10.10.3	7.5	5.7

创建 galera yum 源文件

cat > /etc/yum.repos.d/galera.repo <<-END
[galera]
name = Galera
baseurl = http://releases.galeracluster.com/galera-3/centos/7/x86_64/
gpgkey = http://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1

[mysql-wsrep]
name = MySQL-wsrep
baseurl = http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
gpgkey = http://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1
END

安装

`1`	`yum install galera-3 mysql-wsrep-5.7 rsync`

修改 /etc/my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
binlog-format=ROW
bind-address=0.0.0.0
default-storage-engine=innodb
innodb-autoinc-lock-mode=2
innodb-flush-log-at-trx-commit=0
innodb-buffer-pool-size=1024M #物理内存一半
wsrep-provider=/usr/lib64/galera-3/libgalera_smm.so
wsrep-provider-options="gcache.dir=/var/lib/gcache;gcache.size=1G;gcache.recover=yes;pc.recovery=TRUE"
wsrep-cluster-name="mysql_galera_cluster" #集群名字
wsrep-cluster-address="gcomm://10.10.10.1,10.10.10.2,10.10.10.3"
wsrep-sst-method=rsync
wsrep-node-name=mysql_1 #当前节点名字
wsrep-node-address="10.10.10.1" #当前节点 cluster ip
#wsrep-auto-increment-control=OFF #只通过一个节点做增删改时使用

[mysql_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

!includedir /etc/my.cnf.d/

随机选择一个节点，使用专用脚本 mysqld_bootstrap 初始化集群

1
2
3

/usr/bin/mysqld_bootstrap
# 该命令会启动本机的 mysqld 服务
systemctl status mysqld

查找密码，修改初始密码

grep -i password /var/log/messages
# 记录输出的密码
mysqladmin -uroot -p password 'P@sswo2d'
# 根据提示输入上一步输出的密码

在其他节点上启动 mysqld 服务

`1`	`systemctl start mysqld`

查看集群节点数量

`1`	`show status like 'wsrep_cluster_size';`

ssl 加密同步数据(不推荐，存在性能损失)

生成证书

Mysql 二进制日志

Wed, 30 Oct 2019 11:05:08 +0800

MySQL 5.7 开启 binlog

修改 my.cnf 文件

[mysqld]
log-bin=[/存放目录/]mysql-bin #注意 mysql 可读写“存放目录”，默认数据存放目录
expire-logs-days=7 #保留7天内修改过的 binglog 文件
max-binlog-size=512M #单个 binlog 文件大小上限，默认1G
#指定或忽略要复制的数据库，存在跨库问题
binlog-do-db=db1
binlog-db-db=db2
#binlog-ignore-db=db1
#binlog-ignore-db=db2

常用操作

查看所有 binlog 文件列表
1

show master logs;
查看 master 状态，包含最新 binlog 文件名和 position
1

show master status;
清除过期 binlog 文件，并使用新编号的 binlog 文件开始记录日志
1

flush logs;

删除 binlog 文件

删除旧的 binlog 文件

1
2
3

purge master logs to 'mysql-bin.000573';
purge master logs before '2018-04-18 06:00:00';
purge master logs before DATE_SUB(NOW(), INTERVAL 2 DAY);

清空所有 binlog 文件
1

reset master

使用 mysqlbinlog 命令查看 binlog 文件的内容

使用

# 查看日志
mysqlbinlog [选项] binlog文件名
# 恢复数据
mysqlbinlog [选项] binlog文件名 | mysql -u用户名 -p密码 -D数据库 [-v]

常用选项
- –start-position=128 起始 pos
- –stop-position=256 结束 pos
- –start-datetime=“2018-08-08 00:00:00” 起始时间
- –stop-datetime=“2018-08-09 12:00:00” 结束时间
- –database=db_name 只恢复 db_name 数据库

使用 sql 查看 binlog 文件的内容

查询语句

`1`	`SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];`

选项
- log_name binlog文件名，默认第一个 binlog 文件
- pos 查询起始 pos，默认 log_name 中的第一个 pos
- offset 偏移 pos 个数
- row_count 查询数量

调整 binlog_cache_size

查看当前 binlog_cache_size 大小(byte)，默认 32k
1

show variables like 'binlog_cache_size';

查看当前 binlog_cache_use 和 binlog_cache_disk_use 次数

1
2
3

show status like 'binlog_cache%';
-- binlog_cache_disk_use 使用临时文件写 binlog 文件的次数
-- binlog_cache_use 使用缓存写 binlog 文件的次数

Mysql 缓存

Wed, 30 Oct 2019 11:00:49 +0800

MySQL 超时

connect_timeout 与客户端连接建立超时，默认10秒
interactive_timeout 交互终端超时断开，默认28800秒
wait_timeout 非交互终端超时断开，默认28800秒
net_read_timeout 从客户端读取数据超时，默认30秒
net_write_timeout 向客户端写入数据超时，默认60秒
innodb_lock_wait_timeout 锁等待超时，默认50秒
innodb_rollback_on_timeout 超时后回滚整个事务操作，默认OFF
slave_net_timeout 从库读取binlog失败后，等待指定秒后重新连接主库，默认60秒

查询缓存配置

** MySQL 8.0 已关闭该功能 **

mysql/mariadb 备份

Wed, 30 Oct 2019 00:54:15 +0800

xtrabackup

环境

mysql 8.4
rockylinux 9.6

安装

下载与操作系统和 mysql 版本对应的通用二进制包，解压

1
2

tar zxf percona-xtrabackup-8.4.0-5-Linux-x86_64.glibc2.34-minimal.tar.gz
mv percona-xtrabackup-8.4.0-5-Linux-x86_64.glibc2.34-minimal /opt/pxb

备份前准备工作

备份目录如果是 nfs，挂载时需指定 sync 选项

创建备份用户

CREATE USER xb@localhost IDENTIFIED BY 'Xtrabackup_1234';
GRANT BACKUP_ADMIN, PROCESS, RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO xb@localhost;
GRANT SELECT ON performance_schema.log_status TO xb@localhost;
GRANT SELECT ON performance_schema.keyring_component_status TO xb@localhost;
GRANT SELECT ON performance_schema.replication_group_members TO xb@localhost;

全量备份和恢复

备份