Database on Colben Notes

Redis 数据迁移

Wed, 31 Jan 2024 18:09:00 +0800

环境

Redis: 5.0.14

源集群实例

1
2
3

... 127.0.0.10:6371@16371 ... connected 0-5460
... 127.0.0.10:6372@16372 ... connected 5461-10922
... 127.0.0.10:6373@16373 ... connected 10923-16383

源集群密码: 123456

目的集群实例

1
2
3

... 127.0.0.11:6371@16371 ... connected 0-5460
... 127.0.0.11:6372@16372 ... connected 5461-10922
... 127.0.0.11:6373@16373 ... connected 10923-16383

目的集群密码: 123456
redis 数据迁移工具: redis-dump-go

MySQL 组复制

Tue, 28 Apr 2020 00:52:00 +0800

环境

hostname	ip	os	mysql
mysql_11	192.168.1.11	centos7.7	8.0.19
mysql_22	192.168.1.22	centos7.7	8.0.19
mysql_33	192.168.1.33	centos7.7	8.0.19

安装 mysql

懒得写了 …

修改 my.cnf

# mysql_11(选择一个)
server-id = 11
# mysql_22(选择一个)
server-id = 22
# mysql_33(选择一个)
server-id = 33

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = ROW
# 关闭 binlog 校验
binlog-checksum = NONE
# 保留 2 天的 binlog
binlog-expire-logs-seconds = 172800
# 开启 gtid
gtid-mode = ON
enforce-gtid-consistency = TRUE
# 指定 relay-log 存储位置
relay-log = /var/lib/mysql-bin/slave
# relay-log 更新计入 binlog
log-slave-updates = TRUE

# 多线程执行从库日志(可选)
slave-parallel-workers = 2
slave-parallel-type = LOGICAL_CLOCK
slave-preserve-commit-order = ON

# 存储引擎只能用 InnoDB
disabled-storage-engines = "MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"
# 加载插件，克隆插件用于快速 state transfer
plugin-load-add = "group_replication.so;mysql_clone.so"
# 集群 uuid
group-replication-group-name = "aaaa1111-bbbb-2222-cccc-3333dddd4444"

# mysql_11(选择一个)
group-replication-local-address = "192.168.1.11:33061"
# mysql_22(选择一个)
group-replication-local-address = "192.168.1.22:33061"
# mysql_33(选择一个)
group-replication-local-address = "192.168.1.33:33061"

# 种子节点
group-replication-group-seeds = "192.168.1.11:33061,192.168.1.22:33061,192.168.1.33:33061"
# 新主库在执行完自己的从库日志后，再处理用户的写请求
group-replication-consistency = BEFORE_ON_PRIMARY_FAILOVER
# 启动时，不自动创建/初始化新集群
group-replication-bootstrap-group = OFF
# 新节点启动时，先不启动组复制，待手动配置完成并确认正常后，再把 OFF 改成 ON
group-replication-start-on-boot = OFF

# 怀疑某节点不可用，2秒内，如果该嫌疑节点依旧无响应，则开除它(可选)
group-replication-member-expel-timeout = 2
# 2秒内，依旧连接不上主网(majority)，则退出组复制，进入 ERROR 状态(可选)
group-replication-unreachable-majority-timeout = 2
# 退出组复制后，不再尝试重新加入组复制，直接执行指定的退出动作(默认)
group-replication-autorejoin-tries = 0
# 指定退出动作: 数据库设置超级只读并关闭客户端连接(推荐)
group-replication-exit-state-action = OFFLINE_MODE

初始化集群

重新启动节点 mysql_11

MariaDB 主从复制

Mon, 13 Apr 2020 18:00:00 +0800

环境

mariadb 主服务器，centos7.8，192.168.1.141
mariadb 主服务器，centos7.8，192.168.1.142
mariadb 从服务器，centos7.8，192.168.1.143
忽略系统数据库: information_schema, mysql, performance_schema

在两个主服务器上创建用于备份的用户 replicator

1
2

grant replication slave on *.* to 'replicator'@'%' identified by 'password';
flush privileges;

在两个主服务器上修改 my.cnf

# 唯一 ID
# 192.168.1.141 配置 
server-id = 141
# 192.168.1.142 配置 
server-id = 142
read-only = 0

# binlog
# MariaDB 默认已开启 GTID
log-bin          = /var/lib/mysql-bin/master
binlog-format    = row
sync_binlog      = 1
expire-logs-days = 3
gtid-strict-mode = ON

# relay log
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = init_sql.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
relay-log                   = /var/lib/mysql-bin/slave
relay-log-recovery          = TRUE
# 复制线程数不超过 cpu 核数
slave-parallel-threads      = 4

# 双主或多主互备时，可能会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =
# 该环境中，双主配合 keepalived 实现高可用，无需配置自增

开启互主同步

-- 在 192.168.1.141 上启动 mariadb，配置同步 192.168.1.142:
change master to master_host = '192.168.1.142',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_use_gtid = slave_pos;

-- 在 192.168.1.142 上启动 mariadb，配置同步 192.168.1.141:
change master to master_host = '192.168.1.141',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_use_gtid = slave_pos;

在两个主服务器上启动 slave ，查看 slave 状态

start slave;
-- 查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

在从服务器上编辑 my.cnf

# 唯一 ID
server-id = 143
# 从服务器只做查询，无增删改
read-only = 1

# 忽略的数据表
#replicate-ignore-table     = db1.t1
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = init_sql.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
relay-log                   = /var/log/mysql-bin/slave
slave-parallel-threads      = 4

开启同步

change master 'db141' to master_host = '192.168.1.141',
                         master_port = 3306,
                         master_user = 'replicator',
                         master_password = 'password',
                         master_use_gtid = slave_pos;

change master 'db142' to master_host = '192.168.1.142',
                         master_port = 3306,
                         master_user = 'replicator',
                         master_password = 'password',
                         master_use_gtid = slave_pos;

在从服务器上启动 slave ，查看 slave 状态

start all slaves;
-- 在从服务器上查看 slave 状态
show all slaves status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

参考

CentOS7 安装 Redis 集群

Fri, 29 Nov 2019 15:14:29 +0800

环境

操作系统: CentOS7.9，关闭 firewalld 和 selinux
Redis: 5.0.14
master 实例
- 10.0.4.110:6371
- 10.0.4.110:6372
- 10.0.4.110:6373
slave 实例
- 10.0.4.111:6371
- 10.0.4.111:6372
- 10.0.4.111:6373

编译 redis server

在 CentOS7.9 测试服务器上下载、编译

curl -LO http://download.redis.io/releases/redis-5.0.14.tar.gz
tar zxf redis-5.0.14.tar.gz
cd redis-5.0.14
make

抽取安装文件

mkdir -p /opt/redis/{bin,conf}
cp src/{redis-server,redis-cli,redis-benchmark} /opt/redis/bin/
cd /opt/redis/bin
ln -s redis-server redis-check-aof
ln -s redis-server redis-check-rdb
ln -s redis-server redis-sentinel

创建 /opt/redis/conf/redis-6379.conf，常用配置如下

Postgresql 主从

Mon, 04 Nov 2019 02:09:29 +0800

主库配置

修改 postgresql.conf

listen_address = '*'
wal_level = replica
wax_wal_senders = 10
wal_keep_segments = 64
hot_standby = on

启动主库 postgresql-10 服务
1

systemctl start postgresql-10

创建同步账户

1
2

create user replica superuser password '123456';
-- 这里可以只赋予 replication 权限，后面从库复制初始数据库时使用其他有权限帐号

修改 pg_hba.conf
1

host replication replica samenet md5

从库配置

停止从库 postgresql-10 服务，清空数据库目录

1
2

systemctl stop postgresql-10
rm -rf /var/lib/pgsql/10/data/*

从主库复制初始数据库
1 2 3 4 5 6 7 8

pg_basebackup \ -h <主库ip> \ -U replica \ -F p \ -X stream \ -P -R \ -D /var/lib/pgsql/10/data/ \ -l backup_20191104
- -h 指定连接的数据库的主机名或IP地址
- -U 指定连接的用户名
- -F 指定了输出的格式，支持p（原样输出）或者t（tar格式输出）
- -X 表示备份开始后，启动另一个流复制连接从主库接收WAL日志
- -P 表示允许在备份过程中实时的打印备份的进度
- -R 表示会在备份结束后自动生成recovery.conf文件
- -D 指定备份写入的数据目录,需要与数据库配置的数据库目录一致,初次备份之前从库的数据目录需要手动清空
- -l 表示指定一个备份的标识

检查状态

检查从库进程

1
2

ps -ef|grep postgres
# 可以看到 wal sender 和 receiver process 两个进程

从库为只读模式,无法进行增/删/改操作

主库查看 replication 客户端

`1`	`select client_addr,sync_state from pg_stat_replication;`

安装 Oracle 需要调整的内核参数

Wed, 30 Oct 2019 17:58:46 +0800

在安装Oracle的时候需要调整linux的内核参数，但是各参数代表什么含义呢，下面做详细解析。

Linux安装文档中给出的最小值：

fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 4294967295
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

各参数详解：

CentOS6 安装 Oracle11g

Wed, 30 Oct 2019 17:56:57 +0800

安装依赖

yum install binutils compat-libstdc++-33 compat-libstdc++-33.i686 \
elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc.i686 \
glibc-common glibc-devel glibc-devel.i686 glibc-headers ksh libaio \
libaio.i686 libaio-devel libaio-devel.i686 libgcc libgcc.i686 libstdc++ \
libstdc++.i686 libstdc++-devel make sysstat unixODBC unixODBC-devel

创建用户和用户组

1
2

groupadd dba oinstall
useradd -g oinstall -m oracle

配置oracle用户环境变量

打开 oracle 用户的的默认shell配置文件 ~/.bashrc，在最后添加以下代码

CentOS 安装官方编译的 Mariadb 10.1 二进制通用包

Wed, 30 Oct 2019 17:53:33 +0800

环境

centos 5.4/6.2/6.5/7.2 x86_64

安装

下载官方编译好的 linux 通用安装包，解压之自定义目录（如/opt）下

# rhel 7 地址:
wget https://mirrors.tuna.tsinghua.edu.cn/mariadb//mariadb-10.1.19/bintar-linux-glibc_214-x86_64/mariadb-10.1.19-linux-glibc_214-x86_64.tar.gz
# rhel 5/6 地址:
wget https://mirrors.tuna.tsinghua.edu.cn/mariadb//mariadb-10.1.19/bintar-linux-x86_64/mariadb-10.1.19-linux-x86_64.tar.gz
tar zxf mariadb-10.1.19-linux*-x86_64.tar.gz -C /opt/
cd /opt
mv mariadb-10.1.19-linux* mariadb

MySQL 主从复制

Wed, 30 Oct 2019 17:33:13 +0800

环境

mysql 主服务器，centos7.4，192.168.1.10，端口 10000
mysql 从服务器，centos7.4，192.168.1.6
要复制的数据库有 data_db、conf_db

在主服务器上创建用于备份的用户 replicator

1
2

grant replication slave  on *.* to 'replicator'@'192.168.1.6' identified by 'password';
flush privileges;

在主服务器上修改 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 10
read-only = 0

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = row
# 关注要复制的数据库，存在跨库问题
binlog-do-db = data-db
binlog-do-db = conf-db
# 忽略的数据库，存在跨库问题
#binlog-ignore-db =
#binlog 有效时间
expire-logs-days =
# GTID 复制模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在主服务器上重启 mysql，获取 master 状态

1
2
3

-- 如果 mysql 是全新安装，则无须导出数据库初态，直接查看 binlog pos 即可
-- 锁定要导出的数据库表
flush tables with read lock;

导出数据库初态

# 在主服务器的另一个终端中运行
mysqldump -uroot -p data_db > /tmp/data_db.sql
mysqldump -uroot -p conf_db > /tmp/conf_db.sql
# 复制到从服务器上
scp /tmp/data_db.sql /tmp/conf_db.sql 192.168.1.6:/tmp/

查看 binary 日志位置

show master status\G
-- 记住输出里的如下类似两行（不记录也可以，这两个信息已经写入了导出的sql文件中）
-- File: mysql-bin.000001
-- Position: 137103822
-- 解锁数据库表
unlock tables;

在从服务器上编辑 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 6
read-only = 1

# 如果该 slave 中也运行了 master，或者使用了 gtid 模式复制，则开启 binlog
#log-bin = mysql-bin
#binlog-format = row
# 把 slave 操作也计入 binlog，用于链式同步
#log-slave-updates = ON
# 指定要复制的数据库，存在跨库问题
#replicate-do-db = data_db
#replicate-do-db = conf_db
# 指定要复制的数据表，无跨库问题
replicate-do-table = db1.t1
replicate-wild-do-table = db1.%
# 忽略的数据库，存在跨库问题
#replicate-ignore-db =
# 忽略的数据表，无跨库问题
#replicate-ignore-table = db1.t1
#replicate-wild-ignore-table = db1.%
# 中继日志
relay-log = /var/lib/mysql-bin/slave
# 多线程复制
slave-parallel-type = logical-clock
slave-parallel-workers = 4
# GTID 模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在从服务器上重启 mysql，导入初态

1
2
3

-- 创建要导入的数据库
create database data_db default charset utf8mb4;
create database conf_db default charset utf8mb4;

导入数据库

1
2

msyql -uroot -p data_db < /tmp/data_db.sql
mysql -uroot -p conf_db < /tmp/conf_db.sql

开启同步

-- 基于 binlog 文件位置复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_log_file = 'mysql-bin.000001',
                        master_log_pos = 137103822;
flush privileges;
-- 基于 gtid 复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_auto_position = 1;

启动 slave，查看 slave 状态

start slave;
-- 在从服务器上查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

MySQL8 gtid 互为主从配置

[mysqld]
# ---- 固定配置 ----
datadir = /var/lib/mysql
socket = /var/lib/mysql/mysql.sock
pid-file = /var/lib/mysql/mysql.pid
log-timestamps = SYSTEM
log-error = /var/log/mysql/error.log
slow-query-log = TRUE
slow-query-log-file = /var/log/mysql/slow.log
default-authentication-plugin = mysql_native_password

# ---- 动态配置 ----
mysqlx = OFF
character-set-server = utf8mb4
default-storage-engine = innodb
lower-case-table-names = 1
#skip-name-resolve = 1
#max-user-connections = 600
#innodb-buffer-pool-size = 8G
#innodb-buffer-pool-instances = 8

# master
# 确认不同节点该 id 唯一
server-id = 1
log-bin = /var/lib/mysql-bin/master
binlog-format = ROW
#binlog-do-db = db1
binlog-expire-logs-seconds = 172800
gtid-mode = ON
enforce-gtid-consistency = TRUE

# slave
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
replicate-wild-ignore-table = sys.%
replica-parallel-workers = 2
log-replica-updates = FALSE
relay-log = /var/lib/mysql-bin/slave
relay-log-recovery = TRUE
#read-only = ON

MySQL8 gtid 多源复制从库配置

修改 my.cnf

CentOS7 部署 Mariadb Galera 集群

Wed, 30 Oct 2019 14:01:06 +0800

环境

cpu	mem	hostname	public ip	cluster ip	CentOS	MariaDB
双核	2GB	mariadb_1	10.0.0.231	10.10.10.1	7.5	10.1.33
双核	2GB	mariadb_2	10.0.0.232	10.10.10.2	7.5	10.1.33
双核	2GB	mariadb_3	10.0.0.233	10.10.10.3	7.5	10.1.33

安装数据库

离线安装

下载 rpm
- MariaDB-10.1.33-centos7-x86_64-client.rpm
- MariaDB-10.1.33-centos7-x86_64-common.rpm
- MariaDB-10.1.33-centos7-x86_64-server.rpm
- MariaDB-10.1.33-centos7-x86_64-shared.rpm
- galera-25.3.23-1.rhel7.el7.centos.x86_64.rpm
- jemalloc-3.6.0-1.el7.x86_64.rpm

安装 rpm

1
2

yum erase mariadb-libs
rpm -ivh *.rpm

安装后会自动执行数据库初始化脚本，如果未执行，可手动运行
1

mysql_install_db --user=mysql

yum 安装

创建 MariaDB-10.1 的 yum 源文件(就近选择一个)

安装 MySQL

Wed, 30 Oct 2019 13:00:37 +0800

CentOS7 yum 安装 MySQL5.7

环境

CentOS 7.4 x86_64 最小安装
MySQL 5.7.20

安装 mysql yum 源

下载 rpm 包

1
2
3

# repo 地址: https://repo.mysql.com/
cd /root/
curl -O https://repo.mysql.com/mysql57-community-release-el7.rpm

安装 mysql 源

`1`	`rpm -ivh /root/mysql57-community-release-el7.rpm`

更新 yum 缓存
1 2

yum clean all yum makecache fast

安装 mysql

yum 安装 mysql 包
1

yum install mysql-community-server
启动 mysql

Oracle 基础

Wed, 30 Oct 2019 11:55:46 +0800

字符型

类型	大小	描述
varchar2	0~4000	可变长度字符串
nvarchar2	0~1000	Unicode字符串的可变长字符型数据
char	0~2000	定长字符型数据
nchar	0~1000	Unicode字符集定长字符型数据
long	0~2GB	变长字符串

数字型

类型	进制	描述
number(p,s)	十进制	p最大精度38位，s小数位数
float	二进制	126位整数

日期

类型	大小	描述
date	公元前4712-1-1~9999-12-31	存储日期和时间
timestamp	公元前4712-1-1~9999-12-31	精确到小数秒，显示上下午

其他数据类型

类型	大小	描述
blob	4GB	二进制
clob	4GB	字符串
bfile	视操作系统	存储非结构化数据到数据库外的文件中

创建表

CREATE TABLE table_name
(
column_name datatype [NULL|NOT NULL],
...,
PRIMARY KEY(),
CONSTRAINT table_name constraint_name FOREIGN KEY (column_name) REFERENCE table_name(column_name) ON DELETE CASCADE,
CONSTRAINT constraint_name CHECK(condition),
CONSTRAINT constraint_name UNIQUE(column_name)
)
|AS SELECT column_name1,column_name2,...FROM source_table;
DROP TABLE table_name;

删除表

DROP TABLE table_name;
# 执行最快，删除数据、结构、索引、约束、触发器和索引，存储过程和索引invalid状态，直接生效，不可回滚，不释放空间
TRUNCATE TABLE table_name;
# 执行较快，只删除数据，直接生效，不可回滚，释放空间
DELETE FROM table_name [WHERE condition];
# 执行最慢，只删除数据，commit 后生效，可回滚，不释放空间

操作表列

ALTER TABLE table_name
ADD column_name datatype [NULL|NOT NULL]
|MODIFY column_name new_datatype|NULL|NOT NULL
|DROP COLUMN column_name;
-- 删除列时通常追加 CASCADE CONSTRAINTS ，以删除于该列有关的约束

操作主键

1
2
3

ALTER TABLE table_name
ADD CONSTRAINTS constraint_name PRIMARY KEY(column_name)
|DROP CONSTRAINTS constraint_name;

操作外键

1
2
3

ALTER TABLE table_name
ADD CONSTRAINT constraint_name FOREIGN KEY(column_name) REFERENCE table_name(column_name) ON DELETE CASCADE
|DROP CONSTRAINT constraint_name;

操作CHECK约束

1
2
3

ALTER TABLE table_name
ADD CONSTRAINT constraint_name CHECK(condition)
|DROP CONSTRAINT constraint_name;

操作UNIQUE约束

1
2
3

ALTER TABLE table_name
ADD CONSTRAINT constraint_name UNIQUE(column_name)
|DROP CONSTRAINT constraint_name;

添加数据

1
2
3

INSERT INTO table_name(column_name1,column_name2,...)
VALUES(data1,data2,...)
|SELECT column_name1,column_name2...FROM table_name2;

修改数据

`1`	`UPDATE table_name SET column_name1=data1,column_name2=data2,...[WHERE condition];`

删除数据

1
2

DELETE FROM table_name [WHERE condition];
TRUNCATE TABLE table_name;

查询数据

`1`	`SELECT column_name1,column_name2,...FROM table_name [WHERE condition];`

MERGE语句

`1`	`MERGE INTO table_name1 USING table_name2 ON(condition) WHEN MATCHED THEN ... WHEN NOT MATCHED THEN ...;`

SELECT 语句

`1`	`SELECT [DISTINCT\|ALL] select_list FROM table_list [WHERE ...] [GROUP BY ...] [HAVING ...] [ORDER BY ...];`

select_list

`1`	`\|[schema.] {table\|view} .\|expr[ [AS ]c_alias]`

expr

`1`	`"\|\|" 连接的字符串 \| 函数`

ORDER BY …

`1`	`{expr\|positon\|c_alias} {ASC\|DESC} {NULLS FIRST\|NULLS LAST}[ {expr\|positon\|c_alias} {ASC\|DESC} {NULLS FIRST\|NULLS LAST},...]`

模糊查询关键字like

`1`	`'_'替代一个字符，'%'替代多个字符`

从给定值中选取查询

`1`	`IN(data1,data2,...)`

连接

-- 连接，只能查询匹配记录
SELECT select_list FROM table_name1 INNER JOIN table_name2 ON condition;
-- 左外连接
SELECT select_list FROM table_name1 LEFT JOIN table_name2 ON condition;
-- 右外连接
SELECT select_list FROM table_name1 RIGHT JOIN table_name2 ON condition;
-- 全外连接
SELECT select_list FROM table_name1 FULL JOIN table_name2 ON condition;

内置函数

ABS(n)    -- n绝对值
MOD(n2,n1)    -- n2对n1取余
SIGN(n)    -- n的符号
CEIL(n)    -- 大于等于n的最小整数
FLOOR(n)    -- 小于等于n的最大整数
SQRT(n)    -- n的平方根
POWER(n2,n1)    -- n2的n1次幂
EXP(n)    -- e的n次幂
LOG(n1,n2)    -- n1为底n2的对数
LN(n)    -- n的自然对数
ROUND(n2,n1)    -- n2小数部分四舍五入至n1位
TRUNC(n2,n1)    -- n2截取至n1位
CHR(n)    -- 把n根据ASCII转换成字符
ASCII(char)    -- 参数首字母的ASCII值
LENGTH(char)    -- 字符串长度
SUBSTR(char,position[,substring_length])    -- 截取字符串
CONCAT(char1,char2)    -- 连接字符串
INSTR(string,substring[,position[,occurrence]])    -- 查找字符串
UPPER(char)    -- 转换成大写
LOWER(char)    -- 转换成小些
INITCAP(char)    -- 单词首字母大写
NLSSORT(char[,nslparam])    -- 按指定方式排序'NLS_SORT=SCHINESE_PINYIN_M'
REPLACE(char,search_string[,replacement_string])    -- 字符串替换，默认删除
RPAD(expr1,n[,expr2])    -- 用expr2右填充expr1至长度为n，默认空格
LPAD(expr1,n[,expr2])    -- 用expr2左填充expr1至长度为n，默认空格
TRIM([LEADING|TRAILING|BOTH] [trim_character FROM] trim_source)    -- 删除字符串首尾指定字符
SYSDATE    -- 获取系统当前日期
SYSTIMESTAMP    -- 获取系统当前时间
DBTIMEZONE    -- 获取数据库当前时区
ADD_MONTHS(date,integer)    -- 指定日期增加指定月份数
SESSIONTIMEZONE    -- 获取当前会话的时区
LAST_DAY(date)    -- 获取指定日期对应月份的最后一天
NEXT_DAY(date,char)    -- 获取下周char的日期
CURRENT_DATE    -- 获取会话时区的当前日期
EXTRACT(datetime)    -- 从指定时间中获取指定部分
MONTHS_BETWEEN(date1,date2)    -- 获取两个时间之间的月份数
NET_TIME(date,timezone1,timezone2)    -- 获取时区1中的时间转换到时区2后的时间
TO_CHAR(n[,fmt])    -- 转换为字符类型
TO_DATE(n[,fmt])    -- 转换为时间类型
TO_NUMBER(n[,fmt])    -- 转换为数字类型
LNNVL(condition)    -- 排除指定条件函数
NVL(expr1,expr2)    -- expr1为空时返回expr2
NVL2(expr1,expr2,expr3)    -- expr1为空时返回expr3，不为空返回expr2
AVG([DISTINCT|ALL ]expr)    -- 获取平均值
COUNT(*|[DISTINCT|ALL ]expr)    -- 获取数量
SUM([DISTINCT|ALL ]expr)    -- 获取和
SELECT USER FROM DUAL;    -- 返回当前会话的登录名
USERENV(param)    -- 返回当前会话的信息
SYS_CONTEXT(namespace,param)    -- 返回oracle已创建的context
DECODE(expr,search,result[,search1,result1...])    -- expr结果是search返回result

查看所有默认表空间

`1`	`SELECT TABLESPACE_NAME FROM DBA_TABLESPACES;`

查看指定用户默认表空间

`1`	`SELECT DEFAULT_STAPCE,USERNAME FROM DBA_USERS WHERE USERNAME='username';`

创建表空间

CREATE TABLESPACE tablespace_name
DATAFILE filename
SIZE size
[AUTOEXTEND [ON NEXT size|OFF]]
[MAXSIZE size]
[PERMANENT|TEMPORARY]     永久/临时表空间，默认永久
[EXTENT MANAGEMENT [DICTIONARY|LOCAL     字典/本地管理方式，默认本地
[AUTOALLOCATE|UNIFORM. [SIZE integer[K|M]]]];

重命名表空间

`1`	`ALTER TABLESPACE oldname RENAME TO newname;`

修改表空间大小

`1`	`ALTER DATABASE DATAFILE filename RESIZE size;`

增加表空间大小

`1`	`ALTER TABLESPACE tablespace_name ADD DATAFILE filename SIZE size;`

设置表空间读写状态

`1`	`ALTER TABLESPACE tablespace_name READ {ONLY\|WRITE};`

设置表空间可用状态

`1`	`ALTER TABLESPACE tablespace_name {ONLINE\|OFFLINE [NORMAL\|TEMPORARY\|IMMEDIATE]};`

创建大文件表空间

`1`	`CREATE BIGFILE TABLESPACE tablespace_name DATAFILE filename SIZE size;`

删除表空间

1
2
3

DROP TABLESPACE tablespace_name
[INCLUDING CONTENTS AND DATAFILES]     数据文件删除
[CASCADE CONSTRAINTS];    完整性删除

查看表空间大小

`1`	`SELECT TABLESPACE_NAME,FILE_NAME,BYTES FROM DBA_DATA_FILES WHERE TABLESPACE_NAME=tablespace_name;`

查看表空间剩余空间

`1`	`SELECT TABLESPACE_NAME,BYTES FROM DBA_FREE_SPACES;`

创建/修改用户

CREATE|ALTER
USER user_name
IDENTIFIED BY password
[DEFAULT TABLESPACE tablespace_name ]
[QUOTA size|UNLIMITED ON tablespace_name ]    用户使用表空间的最大值
[PROFILE profile ]    概要文件
[PASSWORD EXPIRE ]    用户密码过期
[ACCOUNT LOCK|UNLOCK];    默认锁定状态

删除用户

`1`	`DROP USER user_name CASCADE;`

授予系统权限

GRANT
system_privileges|ALL PRIVILEGES     权限
TO {user IDENTIFIED BY password|role }    用户/角色
[WITH ADMIN OPTION];    授予其他用户或角色系统权限

授予对象权限

GRANT
object_privilege|ALL     权限
ON schema.object     对象
TO user_name|role_name     用户/角色
[WITH ADMIN OPTION ]    授予其他用户或角色系统权限
[WITH THE GRANT ANY OBJECT];    授予其他用户或角色对象权限

撤销系统权限

1
2

REVOKE system_privilege FROM
user|role;

撤销对象权限

REVOKE
object_privilege |ALL
ON schema.object FROM
user_name|role_name
[CASCADE CONSTRAINTS];

数据字典

数据	字典
系统权限	DBA_SYS_PRIVS
对象权限	DBA_TAB_PRIVS
用户角色	DBA_ROLE_PRIVS

创建角色

CREATE|ALTER     //创建/修改
ROLE role_name
[NOT IDENTIFIED|IDENDIFIED BY [password]];
GRANT     //填充权限
system_privilege|ALL PRIVILEGES
TO role_name
[WITH ADMIN OPTION];
-- 角色创建完成后不能直接使用，需将角色赋予用户才能使用
GRANT role_name TO user_name;
SET ROLE role_name    -- 设置角色生效
SET ROLE ALL    -- 设置所有角色生效
SET ROLE ALL EXCEPT role_name    -- 设置只有role_name失效
SET ROLE NONE    -- 设置所有角色失效

删除角色

`1`	`DROP ROLE role_name;`

脱机备份（冷备份）/恢复

`1`	`关闭数据库服务后直接复制需要的文件，包括数据文件和控制文件`

联机备份（热备份）

ARCHIVE LOG LIST                                        查看本机数据库的日志状态
ALTER SYSTEM SET LOG_ARCHIVE_START=TRUE SCOPE=SPFILE;   设置日志模式为归档
SHUTDOWN IMMEDIATE;                                     关闭数据库
STARTUP MOUNT;                                          启动mount实例
ALTER DATABASE ARCHIVELOG;                              更改数据库为归档日志模式
ALTER DATABASE OPEN;                                    更改数据库状态为打开模式
ALTER TABLESPACE tablespace_name BEGIN BACKUP;          开始备份数据库
复制文件到其他目录
ALTER TABLESPACE tablespace_name END BACKUP;            结束备份操作

恢复

ALTER SYSTEM ARCHIVE LOG CURRENT;                       归档当前日志
ALTER SYSTEM SWITCH LOGFILE;                            切换日志文件
SELECT * FROM v$RECOVER_FILE                            获取文件编号
ALTER DATABASE DATAFILE file_id OFFLINE DROP;           把要恢复的数据文件脱机
ALTER DATABASE OPEN;                                    更改数据库状态为打开模式
RECOVER DATAFILE file_id;                               恢复数据文件
ALTER DATABASE DATAFILE file_id ONLINE;                 设置数据文件联机

EXP工具导出数据

`1`	`exp db_user/password 登陆数据库的用户名和密码，非SYS`

EXP工具直接导出表

`1`	`exp db_user/password file="filename.dmp" tables="table_name,..."`

EXP工具导出表空间

`1`	`exp db_user/password file="filename.dmp" tablespaces="tablespaces_name"`

EXPDP导出数据

1
2
3

CREATE DIRECTORY directory_name AS 'file_name';         目录名称 文件名称
GRANT READ,WRITE ON DIRECTORY directory_name TO db_user;    授权用户使用该目录
#expdp db_user/password directory=directory_name dumpfile=file_name tables=table_name;

IMP导入数据

`1`	`imp db_user/password`

IMP直接导入表

`1`	`imp db_user/password file="filename.dmp" tables="table_name,..."`

IMPDP导入数据

`1`	`impdp db_user_password`

IMPDP直接导入表

`1`	`impdp db_user/password directory=dir dumpfile=filename.dmp tables=table_name;`

RMAN工具配置

CONN /AS SYSDBA;    连接恢复目录数据库
CREATE USER rman_user IDENTIFIED BY password DEFAULT TABLESPACE tablespace_name;    创建恢复用户
GRANT RECOVERY_CATALOG_OWNER TO rman_user;    为新创建的用户授权
#rman
CONN CATALOG rman_user/password;    连接新创建的用户
CREATE CATALOG;    创建恢复目录

RMAN工具使用

#rman target db_user/password@servicename catalog rman_user/password    连接恢复目录数据库
CONNECT TARGET db_user/password@servicename;    连接目标数据库
CONNECT CATALOG rman_user/password@servicename;    连接恢复目录数据库
REGISTER database;    在恢复目录数据库中注册数据库

手动分配通道

关闭目标数据库，启动到mount状态，运行：
run
{
    ALLOCATE CHANNEL channel_name1 DEVICE TYPE {sbt|disk};
    ...
    BACKUP [level] [backup type] [option]
}

自动分配通道

1
2
3

CONFIGURE DEVICE TYPE {sbt|disk} PARALLELISM n;    指定通道类型和名称
CONFIGURE DEFAULT DEVICE TYPE {sbt|disk};    指定默认设备类型
BACKUP [level] [backup type] [option];

BACKUP 参数

1
2
3

level           备份增量，1、2、3、4或者FULL（全备份）
backup type     对象类型，database、datafile、tablespace、controlfilecopy、archivelog all
option          channel备份使用的通道 maxsetsize定义备份集的最大值

RESTORE还原

1
2

RESTORE database_object;
database_object:    DATABASE(mount),TABLESPACE(open),DATAFILE,CONTROLFILE(mount),ARCHIVELOG,SPFILE(mount)

RECOVER同步恢复

1
2

RECOVER database_object;
database_object:    DATABASE(mount),TABLESPACE(open),DATAFILE

CentOS7.4 静默安装 Oracle11g

Wed, 30 Oct 2019 11:54:49 +0800

环境

CentOS7.4 最小安装
数据库软件
- linux.x64_11gR2_database_1of2.zip
- linux.x64_11gR2_database_2of2.zip

操作系统配置

关闭 SELinux

`1`	`sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config`

关闭防火墙，或者放行 tcp 1521 端口

1
2

systemctl disable firewalld
systemctl stop firewalld

检查交换内存(swap)大小，建议内存一半以上，如果没有设置虚拟内存，可参考如下操作

Oracle 笔记

Wed, 30 Oct 2019 11:53:08 +0800

导出一个表的表结构 sql

set heading off;
set echo off;
set pages 999;
set long 90000;
spool table_name.sql
select dbms_metadata.get_ddl('TABLE','table_name','user_name') from dual;
spool off;

到处一个用户的全部表结构 sql

set pagesize 0
set long 90000
set feedback off
set echo off
spool user_tables.sql
SELECT DBMS_METADATA.GET_DDL('TABLE',t1.table_name) FROM USER_TABLES t1;
spool off;

设置 oracle 客户端的字符集

1
2
3

select * from v$nls_parameters;
-- 在输出中找到 NLS_LANGUAGE、NLS_TERRITORY、NLS_CHARACTERSET 这三个变量的值
-- 环境变量 NLS_LANG 就是由这三个变量组成：NLS_LANG = language_territory.charset

终端连接(ssh) sqlplus 中文乱码

设置该终端与数据库服务器当前字符集编码一致即可

修改数据库字符集

shutdown immediate; (把database停了)
startup mount; (把database重开去可更改情況)
alter system enable restricted session;
alter system set job_queue_processes=0;
alter system set aq_tm_processes=0;
alter database open;
alter database character set internal_use utf8;
shutdown immediate;
startup; (重开正常oracle)

Oracle 12c PDB 管理

查看当前模式
1

show con_name; -- 默认 CDB$ROOT

查看 CDB$ROOT 下所有 pdbs

1
2
3

select name, open_mode from v$pdbs;
-- 或者
show pdbs;

创建 PDB 数据库

create pluggable database pdborcl1
    admin user pdborcl1_adm identified by pdborcl1_pass
    roles=(dba,connect,resource)
    file_name_convert=('/opt/oracle/app/oradata/orcl/pdbseed','/opt/oracle/app/oradata/orcl/pdborcl1')
    path_prefix='/opt/oracle/app/oradata/orcl/pdborcl1';

PDB 数据库创建完成后进入 mount 状态，需手动启动

`1`	`alter pluggable database {pdborcl1[,pdborcl2]\|all [except pdborcl2]} open [read only] [force];`

进入打开的 PDB 数据库

`1`	`alter session set container=pdborcl1;`

切换回 CDB$ROOT

`1`	`alter session set container=cdb$root;`

关闭 PDB 数据库

`1`	`alter pluggable database {pdborcl1[,pdborcl2]\|all [except pdborcl2]} close [immediate];`

删除关闭的 PDB 数据库

`1`	`drop pluggable database pdborcl1 [including datafiles];`

sqlplus 到处 csv 文件

1
2
3

sqool /home/oracle/sql_result.csv
select '"' || field1 || '","' || field2 || '","' ... '","' || fieldn || '"' from table1;
spool off

系统变量

常用设置

域输出分隔符
1

set colsep ' ';
设置查询出来的数据分多少页显示，如果需要连续的数据，中间不要出现空行就把newp设置为none，这样输出的数据行都是连续的，中间没有空行之类的
1

set newp none;
显示start启动的脚本中的每个sql命令，缺省为on
1

set echo off;
设置运行命令是是否显示语句
1

set echo on;
设置显示"已选择XX行"
1

set feedback on;
回显本次sql命令处理的记录条数，缺省为on即去掉最后的 “已经选择10000行”
1

set feedback off;
输出域标题，缺省为on 设置为off就去掉了select结果的字段名，只显示数据
1

set heading off;
输出每页行数，缺省为24,为了避免分页，可设定为0。
1

set pagesize 0;
输出一行字符个数，缺省为80
1

set linesize 80;
输出number类型域长度，缺省为10
1

set numwidth 12;
显示脚本中的命令的执行结果，缺省为on
1

set termout off;
去除标准输出每行的拖尾空格，缺省为off
1

set trimout on;
去除重定向（spool）输出每行的拖尾空格，缺省为off
1

set trimspool on;
设置允许显示输出类似dbms_output
1

set serveroutput on;
设置显示已用时间
1

set timing on;
设置允许对执行的sql进行分析
1

set autotrace on;

系统变量记录

ARRAY[SIZE] {20(默认值)|n} sqlplus 一次从数据库获取的行数,有效值为1至5000. 大的值可提高查询和子查询的有效性,可获取许多行,但也需要更多的内存.当超过1000时,其效果不大.
AUTO[COMMIT] {OFF(默认值)|ON|IMM[EDIATE]} 控制ORACLE对数据库的修改的提交. 置ON时,在ORACLE执行每个SQL命令或PL/SQL块后对数据库提交修改;置OFF时则制止自动提交,需要手工地提交修改,例如用SQL的COMMIT命令. IMMEDIATE功能同ON.
BLO[CKTERMINATOR] {.(默认值)|C} 置非字母数字字符,用于结束PL/SQL块.要执行块时,必须发出RUN命令或/命令.
CMDS[EP] {;|C|OFF(默认值)|ON} 置非字母数字字符,用于分隔在一行中输入的多个SQL/PLUS命令.ON或OFF控制在一行中是否能输入多个命令. ON时将自动地将命令分隔符设为分号(.其中C表示所置字符.
COM[PATIBILITY] {V5|V6|V7|NATIVE(默认值)} 指定当前所链接的ORACLE版本.如果当前ORACLE的版本为5,则置COMPATIBILITY为V5; 为版本6时置成V6; 为版本7时置成V7. 如果希望由数据库决定该设置,在置成NATIVE.
CON[CAT] {.(默认值)|C|OFF|ON(默认值)} 设置结束一替换变量引用的字符.在中止替换变量引用字符之后可跟所有字符,作为体会组成部分,否则sqlplus将解释为替换变量名的一部分.当CONCAT开关为ON时,sqlplus可重置CONCAT的值为点(.).
COPYC[OMMIT] {0(默认值)|n} 控制COPY命令提交对数据库修改的批数.每次拷贝n批后,将提交到目标数据库.有效值为0到5000. 可用变量ARRAYSIZE设置一批的大小.如果置COPYCOMMIT为0,则仅在COPY操作结束时执行一次提交.

CRT crt 改变 sqlplus RUNFORM 命令使用的缺省CRT文件.如果置CRT不包含什么,则crt仅包含’’’’.如果在一个Form的系统调用期间,要使用NEW.CRT(缺省CRT是OLD.CRT),可按下列形式调用Form:

SQL>;RUNFORM -C NEW form名
或者
SQL>;SET CRT NEW
SQL>;RUNFORM form名
# 第二中方法存储CRT选择,以致在下次运行RUNFORM命令(是在同一次sqlplus交互中)时,不需要指定.

DEF[INE] {&|C|OFF|ON(默认值)} 设置在替换变量时所使用的字符.ON或OFF控制sqlplus是否扫描替换变量的命令及用他们的值代替. DEFINE的ON或OFF的设置控制SCAN变量的设置.
ECHO {OFF|ON} 控制START命令是否列出命令文件中的每一命令.为ON时,列出命令;为OFF时,制止列清单.
EMBEDDED {OFF(默认值)|ON} 控制每一报表在一页中开始的地方. 为OFF时,迫使每一报表是在新页的顶部开始;为ON时,运行一报表在一页的任何位置开始.
ESC[APE] {(默认值)|C|OFF(默认值)|ON} 定义作为Escape字符的字符.为OFF时,使Escape字符不起作用.为ON时,使Escape字符起作用.
FEED[BACK] {6(默认值)|n|OFF|ON} 显示由查询返回的记录数.ON和OFF置显示为开或关.置FEEDBACK为ON时,等价于置n为1. 如果置FEEDBACK为0,等价于将它置成OFF.
FLU[SH] {OFF|ON(默认值)} 控制输出送至用户的显示设备.为OFF时,运行操作系统做缓冲区输出;为ON时,不允许缓冲. 仅当非交互方式运行命令文件时使用OFF,这样可减少程序I/O总是,从而改进性能.
HEA[DING] {OFF|ON(默认值)} 控制报表中列标题的打印.为ON时,在报表中打印列标题;为OFF时禁止打印列标题.
HEADS[EP] {|(默认值)|C|OFF|ON(默认值)} 定义标题分隔字符.可在COLUMN命令中使用标题分隔符,将列标题分成多行.ON和OFF将标题分隔置成开或关.当标题分隔为关(OFF)时,sqlplus打印标题分隔符像任何字符一样.
LIN[ESIZE] {80(默认值)|n} 置sqlplus在一行中显示的字符总数,它还控制在TTITLE和BTITLE中对准中心的文本和右对齐文本. 可定义LINESIZE为1至最大值,其最大值依赖于操作系统.
LONG {80(默认值)|n} 为显示和拷贝LONG类型值的最大宽度的设置. 对于ORACLE7, n的最大值为2G字节;对于版本6,最大值为32767.
LONGC[HUNKSIZE] {80(默认值)|n} 为sqlplus检索LONG类型值的增量大小.由于内存的限制,可按增量检索,该变量仅应用于ORACLE7.
MAXD[ATA] n 置sqlplus可处理的最大行宽字符数,其缺省值和最大值在不同操作系统中是可变的.
NEWP[AGE] {1(默认值)|n} 置每一页的头和顶部标题之间要打印的空行数.如果为0, 在页之间送一换号符,并在许多终端上清屏.
NULL text 设置表示空值(null)的文本,如果NULL没有文本,则显示空格(缺省时). 使用COLUMN命令中的NULL子句可控制NULL变量对该列的设置.
NUMF[ORMAT] 格式设置显示数值的缺省格式,该格式是数值格式.
NUM[WIDTH] {10(默认值)|n} 对显示数值设置缺省宽度.
PAGES[IZE] {14(默认值)|n} 置从顶部标题至页结束之间的行数.在11英寸长的纸上打印报表,其值为54,上下各留一英寸(NEWPAGE值为6).
PAU[SE] {OFF(默认值)|ON|text} 在显示报表时,控制终端滚动.在每一暂停时,必须按RETURN键.ON将引起sqlplus在每一报表输出页开始时暂停.所指定的文本是每一次sqlplus暂停时显示的文本.如果要键入多个词,必须用单引号将文本括起来.
RECSEP {WRAPPED|EA[CH]|OFF} 指定显示或打印记录分行符的条件.一个记录分行符,是由RECSEPCHAR指定的字符组成的单行.空格为RECSEPCHAR的默认字符.
RECSEPCHAR { |C} 告诉sqlplus在哪儿做记录分隔.例如将RECSEP置成WRAPPED,在每一缠绕行之后,打印记录分行符.如果将RECSEP置成EACH,sqlplus在每一行后打印一记录分行符.如果将RECSEP置成OFF, sqlplus不打印分行符.
SCAN {OFF|ON(默认值)} 控制对存在的替换变量和值的扫描.OFF禁止替换变量和值的处理; ON则允许正常处理.
SERVEROUT[PUT] {OFF|ON} [SIZE n] 控制在sqlplus中的存储过程是否显示输出.OFF时为禁止; ON时则显示输出. SIZE设置缓冲输出的字节数,缺省值为2000, n不能小于2000或大于一百万.
SHOW[MODE] {OFF(默认值)|ON} 控制sqlplus在执行SET命令时是否列出其新老值old或new的设置.
SPA[CE] {1(默认值)|n} 设置输出列之间空格的数目,其最大值为10.
SQLC[ASE] {MIXED|LO[WER]|UP[PER]} 先于执行之前,将SQL命令和PL/SQL块的大小写进行转换. sqlplus将转换命令中的全部文本,包括带引号的直接量和标示符.SQLCASE不改变SQL缓冲区本身.
SQLCO[NTINUE] {>;(默认值)|文本} 在一附加行上继续一sqlplus命令时,sqlplus以该设置的字符序列进行提示.
SQLN[UMBER] {OFF|ON(默认值)} 为SQL命令和PL/SQL块的第二行和后继行设置提示.为ON时,提示行号;为OFF时,提示设置为SQLPROMPT的值.
SQLPER[FIX] {#(默认值)|C} 设置sqlplus前缀字符.在键入一SQL命令或PL/SQL块时,可在单独行上键入一sqlplus命令,由sqlplus的前缀字符做前缀. sqlplus直接执行该命令,不影响SQL命令或PL/SQL块.前缀字符必须是非字母数字字符.

SQLP[ROMPT] {SQL>;(默认值)|文本} 设置sqlplus的命令提示符.

11:37:45 SQL> show sqlprompt
sqlprompt "SQL> "
11:38:21 SQL> set sqlprompt Jamm>
11:39:54 Jamm>show sqlprompt
sqlprompt "Jamm>"
11:40:03 Jamm>

SQLT[ERMINATOR] {;(默认值)|C|OFF|ON(默认值)} 设置用于结束和执行SQL命令的字符. OFF意味着sqlplus不识别命令终止符,用键入空行来结束SQL命令. ON重设置终止符为默认的分号.
SUF[FIX] {SQL(默认值)|文本} 设置缺省文件的后缀,sqlplus在命令中使用,来引用命令文件. SUFFIX不控制输出(spool)文件的扩展名.
TAB {OFF|ON(默认值)} 决定sqlplus在终端输出中如何格式化空白空间. 为OFF时,在输出中使用空格格式化空白空间;为ON时,用TAB字符. TAB的缺省值依赖于系统,用SHOW TAB命令可查看该缺省值.
TERM[OUT] {OFF|ON(默认值)} 控制由文件执行命令所产生的输出的显示. OFF禁止显示,以致从一个命令文件假脱机输出,在屏幕上看不到输出. ON时显示输出. TERMOUT OFF 不影响交互地进行命令的输出.
TI[ME] {OFF(默认值)|ON} 控制当前日期的显示. ON时,在每条命令提示前显示当前时间; OFF时禁止时间的显示.
1 2 3

11:37:54 SQL> set time off SQL> set time on 11:38:21 SQL>
TIMI[NG] {OFF(默认值)|ON} 控制时间统计的显示. ON时,显示每一个运行的SQL命令或PL/SQL块的时间统计; OFF时,禁止每一个命令的时间统计.
TRIM[OUT] {OFF|ON(默认值)} 决定sqlplus在每一显示行的末端是否允许带空格. ON时将每行尾部的空格去了,特别当从慢速的通信设备存取sqlplus时可改进性能; OFF时允许sqlplus显示尾部的空格.TRIMOUT ON 不影响假脱机输出. 设置TAB ON时,sqlplus忽略TRIMOUT ON.
UND[ERLINE] {-(默认值)|C|OFF|ON(默认值)} {-(默认值)|C|OFF|ON(默认值)} 设置用在sqlplus报表中下划线列标题的字符. ON或OFF将下划线置成开或关.
VER[IFY] {OFF|ON(默认值)} 控制sqlplus用值替换前、后是否列出命令的文本. ON时显示文本;OFF时禁止列清单.
WRA[P] {OFF|ON(默认值)} 控制sqlplus是否截断数据项的显示. OFF时截断数据项;ON时允许数据项缠绕到下一行. 在COLUMN命令中使用WRAPPED和TRUNCATED子句可控制对指定列的WRAP的设置.

参考

https://blog.csdn.net/lfc453048573/article/details/12956191

Mysql 笔记

Wed, 30 Oct 2019 11:51:23 +0800

MySQL 5.7 配置文件 my.cnf

[mysqld]
datadir                        = /db/mysql
socket                         = /var/lib/mysql/mysql.sock
symbolic-links                 = 0
log-timestamps                 = SYSTEM
slow-query-log                 = 1
slow-query-log-file            = /var/log/mysqld/slow.log
long-query-time                = 8
#log-queries-not-using-indexes  = 1
log-error                      = /var/log/mysqld/error.log
pid-file                       = /var/run/mysqld/mysqld.pid
max-connections                = 1000
max-connect-errors             = 1000
max-user-connections           = 600
interactive-timeout            = 3600
wait-timeout                   = 3600
skip-name-resolve              = 1
lower-case-table-names         = 1
default-time-zone              = '+08:00'
character-set-server           = utf8mb4
sql-mode                       = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
bind-address                   = 0.0.0.0
table-open-cache               = 2048
default-storage-engine         = innodb
innodb-autoinc-lock-mode       = 2
innodb-flush-log-at-trx-commit = 0
# 建议物理内存一半
innodb-buffer-pool-size        = 8G
innodb-buffer-pool-instances   = 8
max-allowed-packet             = 512M
query-cache-size               = 0
query-cache-type               = 0
# 建议点分 ip 的最后一个数字
server-id                      = 123
# bin log
#binlog-format                  = ROW
#log-bin                        = /var/lib/mysql/mysql-bin
#expire-logs-days               = 3
# relay log
#read-only                      = 1
#replicate-wild-do-table        = db1.%
#relay-log                      = /var/lib/mysql/mysql-relay-bin
#slave-parallel-type            = logical-clock

复制表结构

1
2

create table db1.t1 like db2.t2;
create table db1.t1 select db2.t2 where 1=2;

复制表结构及其数据

`1`	`create table db1.t1 select db2.t2 [where ...]`

复制表数据

1
2

insert into db2.t2(column1, column2 ...)
    select column1, column2 ... from db1.t1 [where ...]

通过复制表文件来复制表数据

在db2中创建同结构表

Elasticsearch 笔记

Wed, 30 Oct 2019 11:49:53 +0800

索引

查看某节点的全部索引

`1`	`curl http://127.0.0.1:9200/_cat/indices?v`

新建 index

`1`	`curl -X PUT http://127.0.0.1:9200/index_name`

删除 index

`1`	`curl -X DELETE http://127.0.0.1:9200/index_name`

记录

新增记录(指定记录id)

curl -X PUT -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/doc_id -d '
{
    "aa": "11",
    "bb": "22"
}'

新增记录(不指定记录id)

curl -X POST -H "Content-Type: application/json" http://127.0.0.1:9200/index_name -d '
{
    "aa": "11",
    "bb": "22"
}'

查看记录

`1`	`curl http://127.0.0.1:9200/index_name/doc_id?pretty=true`

删除记录

`1`	`curl -X DELETE http://127.0.0.1:9200/index_name/doc_id`

更新记录

curl -X PUT -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/doc_id -d '
{
    "aa": "33",
    "bb": "44"
}'

查询

查询所有记录

`1`	`curl http://127.0.0.1:9200/index_name/_search`

查询匹配

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {"match": {"key_name": "value_pattern"}}
}'

从位置2(默认0)开始查询8(默认10)条记录

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {"match": {"key_name": "value_pattern"}},
    "from": 2,
    "size": 8
}'

逻辑 or 查询

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {"match": {"key_name": "value_pattern_1 value_pattern_2"}}
}'

逻辑 and 查询

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {
        "bool": {
            "must": [
                {"match": {"key_name": "value_pattern_1"}},
                {"match": {"key_name": "value_pattern_2"}}
            ]
        }
    }
}'

区间查询

set -euo pipefail
export START_TIME="$(date +%s -d $1)"
export END_TIME="$(date +%s -d $2)"
curl -s -H "Content-Type: application/json" -o result.txt \
    http://127.0.0.1:9200/wangmei_raw/_search?pretty -d @- <<EOF
{
  "_source": [
    "spider_name",
    "spider_time",
    "media_name",
    "publish_time"
  ],
  "query": {
    "bool": {
      "filter": {
        "range": {
          "spider_time": {
            "gt": $START_TIME,
            "lte": $END_TIME
          }
        }
      }
    }
  },
  "size": 10000
}
EOF

Kibana

lucene 正则查询

1
2

#查询包含10000-99999毫秒的 message 字段
{ "regexp": { "message": "[0-9]{5}ms" } }

Dev tool 模拟 pipeline

POST _ingest/pipeline/_simulate
{
  "pipeline" : {
    "description": "",
    "processors": [
      {
        "grok": {
          "field": "message",
          "patterns": [
            "",
            ""
          ],
          "ignore_missing": true,
          "ignore_failure": true
        }
      }
    ]
  },
  "docs" : [
    {
      "_source": {
        "message": ""
      }
    },
    {
      "_source": {
        "message": ""
      }
    }
  ]
}

pipeline

查看已有的 pipeline

1
2
3

curl http://127.0.0.1:9200/_ingest/pipeline?pretty=true
# 指定 nginx-access
curl http://127.0.0.1:9200/_ingest/pipeline/nginx-access?pretty=true

Mysql 慢查询日志
Secure 登陆日志
Nginx access 日志

filebeat

Redis Sentinel

Wed, 30 Oct 2019 11:37:36 +0800

环境

主机名	地址	操作系统	初始状态
sentinel86	10.1.14.86	CentOS7.4	null
redis87	10.1.14.87	CentOS7.4	master
redis88	10.1.14.88	CentOS7.4	slave
redis89	10.1.14.89	CentOS7.4	slave

安装 redis

在全部服务器上安装 redis

1
2

yum install epel-release
yum install redis

redis master 配置

在 redis87 上修改 /etc/redis.conf
1

bind 0.0.0.0

redis slave 配置

在 redis88 和 redis89 上修改 /etc/redis.conf
1 2

bind 0.0.0.0 slaveof 10.1.14.87 6379

redis sentinel 配置

在 sentinel86 上创建三个 sentinel 配置文件

cd /etc/
cp redis-sentinel.conf redis-sentinel-16379.conf
cp redis-sentinel.conf redis-sentinel-26379.conf
mv redis-sentinel.conf redis-sentinel-36379.conf
chown redis.root redis-sentinel-?6379.conf

修改 /etc/redis-sentinel-16379.conf

bind 0.0.0.0
port 16379
dir /var/log/redis/16379
sentinel monitor mymaster 10.1.14.87 6379 2
sentinel down-after-milliseconds mymaster 8000
logfile /var/log/redis/16379/sentinel.log

修改 /etc/redis-sentinel-26379.conf

bind 0.0.0.0
port 26379
dir /var/log/redis/26379
sentinel monitor mymaster 10.1.14.87 6379 2
sentinel down-after-milliseconds mymaster 8000
logfile /var/log/redis/26379/sentinel.log

修改 /etc/redis-sentinel-36379.conf

bind 0.0.0.0
port 36379
dir /var/log/redis/36379
sentinel monitor mymaster 10.1.14.87 6379 2
sentinel down-after-milliseconds mymaster 8000
logfile /var/log/redis/36379/sentinel.log

创建日志目录

1
2
3

cd /var/log/redis/
mkdir 16379 26379 36379
chown redis.redis ?6379 -R

创建两个 sentinel service 文件

cd /usr/lib/systemd/system/
cp redis-sentinel.service redis-sentinel-16379.service
cp redis-sentinel.service redis-sentinel-26379.service
mv redis-sentinel.service redis-sentinel-36379.service

修改 /usr/lib/systemd/system/redis-sentinel-16379.service

1
2

ExecStart=/usr/bin/redis-sentinel /etc/redis-sentinel-16379.conf --daemonize no
ExecStop=/usr/libexec/redis-shutdown redis-sentinel-16379

修改 /usr/lib/systemd/system/redis-sentinel-26379.service

1
2

ExecStart=/usr/bin/redis-sentinel /etc/redis-sentinel-26379.conf --daemonize no
ExecStop=/usr/libexec/redis-shutdown redis-sentinel-26379

修改 /usr/lib/systemd/system/redis-sentinel-36379.service

1
2

ExecStart=/usr/bin/redis-sentinel /etc/redis-sentinel-36379.conf --daemonize no
ExecStop=/usr/libexec/redis-shutdown redis-sentinel-36379

更新服务
1

systemctl daemon-reload

启动 redis 服务

在 redis87、redis88 和 redis89 上启动 redis 服务

1
2
3

systemctl start redis
# 查看当前节点主从信息
redis-cli info replication

启动 redis sentinel 监控

在 sentinel86 上启动 sentinel 监管程序

1
2
3

systemctl start redis-sentinel-16379
systemctl start redis-sentinel-26379
systemctl start redis-sentinel-36379

CentOS7 安装 Mysql Galera 集群

Wed, 30 Oct 2019 11:13:44 +0800

环境

cpu	mem	hostname	public ip	cluster ip	CentOS	MySQL
双核	2GB	mysql_1	10.0.0.231	10.10.10.1	7.5	5.7
双核	2GB	mysql_2	10.0.0.232	10.10.10.2	7.5	5.7
双核	2GB	mysql_3	10.0.0.233	10.10.10.3	7.5	5.7

创建 galera yum 源文件

cat > /etc/yum.repos.d/galera.repo <<-END
[galera]
name = Galera
baseurl = http://releases.galeracluster.com/galera-3/centos/7/x86_64/
gpgkey = http://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1

[mysql-wsrep]
name = MySQL-wsrep
baseurl = http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
gpgkey = http://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1
END

安装

`1`	`yum install galera-3 mysql-wsrep-5.7 rsync`

修改 /etc/my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
binlog-format=ROW
bind-address=0.0.0.0
default-storage-engine=innodb
innodb-autoinc-lock-mode=2
innodb-flush-log-at-trx-commit=0
innodb-buffer-pool-size=1024M #物理内存一半
wsrep-provider=/usr/lib64/galera-3/libgalera_smm.so
wsrep-provider-options="gcache.dir=/var/lib/gcache;gcache.size=1G;gcache.recover=yes;pc.recovery=TRUE"
wsrep-cluster-name="mysql_galera_cluster" #集群名字
wsrep-cluster-address="gcomm://10.10.10.1,10.10.10.2,10.10.10.3"
wsrep-sst-method=rsync
wsrep-node-name=mysql_1 #当前节点名字
wsrep-node-address="10.10.10.1" #当前节点 cluster ip
#wsrep-auto-increment-control=OFF #只通过一个节点做增删改时使用

[mysql_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

!includedir /etc/my.cnf.d/

随机选择一个节点，使用专用脚本 mysqld_bootstrap 初始化集群

1
2
3

/usr/bin/mysqld_bootstrap
# 该命令会启动本机的 mysqld 服务
systemctl status mysqld

查找密码，修改初始密码

grep -i password /var/log/messages
# 记录输出的密码
mysqladmin -uroot -p password 'P@sswo2d'
# 根据提示输入上一步输出的密码

在其他节点上启动 mysqld 服务

`1`	`systemctl start mysqld`

查看集群节点数量

`1`	`show status like 'wsrep_cluster_size';`

ssl 加密同步数据(不推荐，存在性能损失)

生成证书

CentOS7 静默安装 Oracle12c

Wed, 30 Oct 2019 11:11:13 +0800

环境

CentOS7.5 最小安装
数据库软件
- linuxx64_12201_database.zip

操作系统配置

关闭 SELinux

`1`	`sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config`

关闭防火墙

1
2

systemctl disable firewalld
systemctl stop firewalld

禁用 NetworkManager

1
2

systemctl disable NetworkManager
systemctl stop NetworkManager

重启操作系统
1

reboot

安装依赖

安装可能用到的工具

yum install epel-release
yum clean all
yum makecache fast
yum install vim unzip rlwrap

安装 oracle 需要的包

yum install binutils compat-libcap1 compat-libstdc++-33 \
compat-libstdc++-33*i686 gcc gcc-c++ glibc glibc*.i686 \
glibc-devel glibc-devel*.i686 ksh libaio libaio*.i686 libaio-devel \
libgcc libgcc*.i686 libstdc++ libstdc++*.i686 libstdc++-devel \
libXi libXi*.i686 libXtst libXtst*.i686 make sysstat unixODBC \
unixODBC*.i686 unixODBC-devel unixODBC-devel*.i686

配置安装环境

创建 oracle 用户

groupadd oinstall
groupadd dba
groupadd oper
useradd -g oinstall -G dba,oper oracle

创建 oracle 安装目录

mkdir -p /opt/oracle/app/product/12.2.0
mkdir -p /opt/oracle/app/oradata
mkdir -p /opt/oracle/app/fast_recovery_area
chown -R oracle:oinstall /opt/oracle
chmod -R 775 /opt/oracle

修改 sysctl.conf

cat << EOF >> /etc/sysctl.conf
fs.aio-max-nr = 1048576
fs.file-max = 6815744
#物理内存一半和4G中的较大者，当前服务器16G
kernel.shmmax = 8589934592
#shmmax / 4k (getconf PAGESIZE)
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.sem = 250 32000 200 200
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
net.core.rmem_max = 4194304
EOF
sysctl -p

修改 limits.conf

cat << EOF >> /etc/security/limits.conf
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
EOF

修改 login

cat << EOF >> /etc/pam.d/login
session required  /lib64/security/pam_limits.so
session required pam_limits.so
EOF

修改 profile

cat << EOF >> /etc/profile
if [ \$USER = "oracle" ] ; then
    if [ \$SHELL = "/bin/ksh" ]; then
        ulimit -p 16384
        ulimit -n 65536
    else
        ulimit -u 16384 -n 65536
    fi
    umask 022
fi
EOF

修改 oracle 用户的 .bash_profile

cat << EOF >> /home/oracle/.bash_profile
export ORACLE_BASE=/opt/oracle/app
export ORACLE_HOME=\$ORACLE_BASE/product/12.2.0
export ORACLE_SID=orcl
export PATH=\$PATH:\$ORACLE_HOME/bin
#export NLS_LANG="SIMPLIFIED CHINESE_CHINA.AL32UTF8"
#export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK"
EOF

安装数据库

上传数据库软件到 /root 下，解压

1
2

unzip linuxx64_12201_database.zip -d /home/oracle/
chown -R oracle.oinstall /home/oracle/database

切换到 oracle 用户，后续操作都在该 oracle 用户下执行
1

su - oracle

创建 response 文件

1
2

cd /home/oracle
cp database/response/*.rsp ./

修改 db_install.rsp

sed -i \
    -e '/^oracle\.install\.option=/s#=.*$#=INSTALL_DB_SWONLY#' \
    -e '/^UNIX_GROUP_NAME=/s#=.*$#=oinstall#' \
    -e '/^INVENTORY_LOCATION=/s#=.*$#=/opt/oracle/oraInventory#' \
    -e '/^ORACLE_HOME=/s#=.*$#=/opt/oracle/app/product/12.2.0#' \
    -e '/^ORACLE_BASE=/s#=.*$#=/opt/oracle/app#' \
    -e '/^oracle\.install\.db\.InstallEdition=/s#=.*$#=EE#' \
    -e '/^oracle\.install\.db\.OSDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSOPER_GROUP=/s#=.*$#=oper#' \
    -e '/^oracle\.install\.db\.OSBACKUPDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSDGDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSKMDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSRACDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle.install.db.config.starterdb.type=/s#=.*$#=GENERAL_PURPOSE#' \
    -e '/^oracle\.install\.db\.config\.starterdb\.characterSet=/s#=.*$#=ZHS16GBK#' \
    -e '/^DECLINE_SECURITY_UPDATES=/s#=.*$#=true#' \
    /home/oracle/db_install.rsp

无需修改 netca.rsp

修改 dbca.rsp

sed -i \
    -e '/^gdbName=/s#=.*$#=orcl#' \
    -e '/^sid=/s#=.*$#=orcl#' \
    -e '/^createAsContainerDatabase=/s#=.*$#=true#' \
    -e '/^numberOfPDBs=/s#=.*$#=1#' \
    -e '/^pdbName=/s#=.*$#=pdborcl#' \
    -e '/^templateName=/s#=.*$#=General_Purpose.dbc#' \
    -e '/^pdbAdminPassword=/s#=.*$#=P@sswo2d#' \
    -e '/^sysPassword=/s#=.*$#=P@sswo2d#' \
    -e '/^systemPassword=/s#=.*$#=P@sswo2d#' \
    /home/oracle/dbca.rsp

安装 oracle 软件

cd /home/oracle/database
./runInstaller -silent -responseFile /home/oracle/db_install.rsp -ignorePrereq
#安装成功后，系统提示需要在 root 下执行两个脚本
/opt/oracle/oraInventory/orainstRoot.sh
/opt/oracle/app/product/12.2.0/root.sh

配置监听

1
2
3

netca /silent /responseFile /home/oracle/netca.rsp
#配置成功后，监听启动，查看监听状态
lsnrctl status

创建数据库

1
2

dbca -silent -createDatabase -responseFile /home/oracle/dbca.rsp
#查看屏幕输出的创建进度

简单使用

登陆数据库，切换到 pdb 数据库

[oracle@fpManager2 ~]$ rlwrap sqlplus / as sysdba
SQL*Plus: Release 12.2.0.1.0 Production on 星期一 6月 25 14:41:16 2018
Copyright (c) 1982, 2016, Oracle.  All rights reserved.
连接到:
Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
SQL> show con_name
CON_NAME
------------------------------
CDB$ROOT
SQL> alter session set container=pdborcl;
会话已更改。
SQL> show con_name
CON_NAME
------------------------------
PDBORCL
SQL> select file_name from dba_data_files;
FILE_NAME
--------------------------------------------------------------------------------
/opt/oracle/app/oradata/orcl/pdborcl/system01.dbf
/opt/oracle/app/oradata/orcl/pdborcl/sysaux01.dbf
/opt/oracle/app/oradata/orcl/pdborcl/undotbs01.dbf
/opt/oracle/app/oradata/orcl/pdborcl/users01.dbf
SQL>

Mysql 二进制日志

Wed, 30 Oct 2019 11:05:08 +0800

MySQL 5.7 开启 binlog

修改 my.cnf 文件

[mysqld]
log-bin=[/存放目录/]mysql-bin #注意 mysql 可读写“存放目录”，默认数据存放目录
expire-logs-days=7 #保留7天内修改过的 binglog 文件
max-binlog-size=512M #单个 binlog 文件大小上限，默认1G
#指定或忽略要复制的数据库，存在跨库问题
binlog-do-db=db1
binlog-db-db=db2
#binlog-ignore-db=db1
#binlog-ignore-db=db2

常用操作

查看所有 binlog 文件列表
1

show master logs;
查看 master 状态，包含最新 binlog 文件名和 position
1

show master status;
清除过期 binlog 文件，并使用新编号的 binlog 文件开始记录日志
1

flush logs;

删除 binlog 文件

删除旧的 binlog 文件

1
2
3

purge master logs to 'mysql-bin.000573';
purge master logs before '2018-04-18 06:00:00';
purge master logs before DATE_SUB(NOW(), INTERVAL 2 DAY);

清空所有 binlog 文件
1

reset master

使用 mysqlbinlog 命令查看 binlog 文件的内容

使用

# 查看日志
mysqlbinlog [选项] binlog文件名
# 恢复数据
mysqlbinlog [选项] binlog文件名 | mysql -u用户名 -p密码 -D数据库 [-v]

常用选项
- –start-position=128 起始 pos
- –stop-position=256 结束 pos
- –start-datetime=“2018-08-08 00:00:00” 起始时间
- –stop-datetime=“2018-08-09 12:00:00” 结束时间
- –database=db_name 只恢复 db_name 数据库

使用 sql 查看 binlog 文件的内容

查询语句

`1`	`SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];`

选项
- log_name binlog文件名，默认第一个 binlog 文件
- pos 查询起始 pos，默认 log_name 中的第一个 pos
- offset 偏移 pos 个数
- row_count 查询数量

调整 binlog_cache_size

查看当前 binlog_cache_size 大小(byte)，默认 32k
1

show variables like 'binlog_cache_size';

查看当前 binlog_cache_use 和 binlog_cache_disk_use 次数

1
2
3

show status like 'binlog_cache%';
-- binlog_cache_disk_use 使用临时文件写 binlog 文件的次数
-- binlog_cache_use 使用缓存写 binlog 文件的次数

Mysql 缓存

Wed, 30 Oct 2019 11:00:49 +0800

MySQL 超时

connect_timeout 与客户端连接建立超时，默认10秒
interactive_timeout 交互终端超时断开，默认28800秒
wait_timeout 非交互终端超时断开，默认28800秒
net_read_timeout 从客户端读取数据超时，默认30秒
net_write_timeout 向客户端写入数据超时，默认60秒
innodb_lock_wait_timeout 锁等待超时，默认50秒
innodb_rollback_on_timeout 超时后回滚整个事务操作，默认OFF
slave_net_timeout 从库读取binlog失败后，等待指定秒后重新连接主库，默认60秒

查询缓存配置

** MySQL 8.0 已关闭该功能 **

Mongodb 笔记

Wed, 30 Oct 2019 10:56:11 +0800

数据迁移

导出集合数据到 json 或 csv 文件

命令

`1`	`mongoexport -d dbname -c collectionname -o file --type json/csv -f "field1,field2,...,fieldN"`

参数
- -d 数据库名
- -c 集合名
- -o 输出文件名
- –type 输出格式，默认 json
- -f 输出字段，如果导出 csv，需指定字段名

导入数据到集合

命令

`1`	`mongoimport -d dbname -c collectionname --file filename --headerline --type json/csv -f "field1,field2,...,fieldN"`

参数
- -d 数据库名
- -c 集合名
- –type 导入格式，默认 json
- -f 导入的字段名
- –headerline 导入csv时，使用第一行的标题作为导入字段
- –file 导入的文件

备份数据库

命令

`1`	`mongodump -h dbhost -d dbname -o backup_dir`

参数
- -h ip[:port]
- -d 数据库名
- -o 备份数据存放目录，需提前建立

恢复数据库

命令

`1`	`mongorestore -h dbhost -d dbname --dir backup_dir`

参数 -h ip[:port] -d 数据库名 –dir 备份数据存放目录 –drop 恢复前，先删除当前数据

操作数据库

默认数据库 test
创建 use dbname
查看当前选择的数据库 db
查看数据库列表 show dbs，不显示空数据库
删除数据库 use dbname; db.dropDatabase()

操作集合

创建

1
2
3

db.createCollection("集合名", {capped:false, autoIndexId:false, size:最大字节, max:文档最多数量})
## 或者在插入文档时自动创建
db.集合名.inert({})

删除

`1`	`db.集合名.drop()`

操作文档

insert

插入一个文档

1
2
3

db.集合名.insert({})
# 或者
db.集合名.insertOne({})

插入多个文档

1
2
3

db.集合名.insert([{},{},{},...,{}])
# 或者
db.集合名.insertMany([{},{},{},...,{}])

find

查询匹配的文档
1

db.集合名.find({}).pretty()
查询，只返回一个文档
1

db.集合名.findOne({})
- 相等 {“key”:“value”}
- 小于 {“key”:{$lt:“value”}}
- 小于等于 {“key”:{$lte:“value”}}
- 大于 {“key”:{$gt:“value”}}
- 大于等于 {“key”:{$gte:“value”}}
- 不等于 {“key”:{$ne:“value”}}
- and {$and:[{},{}]}
- or {$or:[{},{}]}

投影

`1`	`db.集合名.find({},{"key1":1,"key2":0 ...})`

限制返回文档数量
1

db.集合名.find({}).limit(N)

跳过返回文档数量

`1`	`db.集合名.find({}).limit(N).skip(N)`

排序，1升序，-1降序

`1`	`db.集合名.find({}).sort({"key":1})`

update

更新一个文档
1

db.集合名.update({},{$set:{}})

更新多个文档

`1`	`db.集合名.update({},{$set:{},{multi:true}})`

save

`1`	`db.集合名.save({,...})`

remove

删除多条记录
1

db.集合名.remove({})
删除一条记录
1

db.集合名.remove({},1)
删除集合中的所有文档，相当于 truncate
1

db.集合名.remove()

索引

创建索引，1升序，-1降序

`1`	`db.集合名.createIndex({"key1":1,"key2":-1})`

聚合

`1`	`db.集合名.aggregate([{}])`

用户

创建用户

管理员权限

use admin
db.createUser(
    {
        user: "username",
        pwd: "password",
        roles: [{role: "root", db: "admin"}]
    }
)

测试库读写权限

use testdb
db.createUser(
    {
        user: "username",
        pwd: "password",
        roles: ["readWrite"]
    }
)

验证身份

`1`	`db.auth("username", "password")`

列出所有用户

`1`	`db.getUsers()`

删除数据库用户

1
2

use testdb
db.dropUser("username")

更改用户密码

db.updateUser(
    "username",
    {
        pwd: "new_password"
    }
)

CentOS7 安装 elasticsearch 集群

Wed, 30 Oct 2019 01:19:09 +0800

环境

主机名	IP	操作系统	ES 版本
es227	192.168.1.227	CentOS7.5	6.5.4
es228	192.168.1.228	CentOS7.5	6.5.4
es229	192.168.1.229	CentOS7.5	6.5.4

下载 elasticsearch-6.5.4.tar.gz

各节点初始配置

关闭 selinux、防火墙
部署 java 运行环境
创建 elastic 用户
1

useradd -m elastic

创建数据目录

1
2
3

cd /var/lib
mkdir elasticsearch
chown elastic.elastic elasticsearch

创建日志目录

1
2
3

cd /var/log
mkdir -p elasticsearch
chown elastic.elastic elasticsearch

增加 sysctl.conf 配置，执行 sysctl -p 生效
1

vm.max_map_count = 262144

增加 /etc/security/limits.conf 配置

elastic soft nofile 65536
elastic hard nofile 65536
elastic soft memlock unlimited
elastic hard memlock unlimited

部署 ELASTICSEARCH

登陆 es227，下载 elasticsearch，解压至 /opt/ 下

修改 elasticsearch 目录的权限

`1`	`chown -R elastic.elastic /opt/elasticsearch`

修改 jvm 参数文件 /opt/elasticsearch/config/jvm.options

修改 /opt/elsaticsearch/config/elasticsearch.yml

cluster.name: TEST_ES_CLUSTER
node.name: es227
network.host: 192.168.1.227
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
discovery.zen.ping.unicast.hosts: ["192.168.1.227:9300", "192.168.1.228:9300", "192.168.1.229:9300"]
discovery.zen.minimum_master_nodes: 2
gateway.recover_after_nodes: 2

打包 elasticsearch 目录，复制到 es228 和 es229 上，并修改 elasticsearch.yml

# es228
node.name: es228
network.host: 192.168.1.228
# es229
node.name: es229
network.host: 192.168.1.229

启动集群(两种启动方式)

直接启动二进制
- 在每个节点上启动 elasticsearch 服务
  1
  
  su - elastic -c '/opt/elasticsearch/bin/elasticsearch -d'

systemd 启动

创建文件 /usr/lib/systemd/system/elasticsearch.service，内容如下

[Unit]
Description=ElasticSearch
Requires=network.service
After=network.service
[Service]
User=elastic
Group=elastic
LimitNOFILE=65536
LimitMEMLOCK=infinity
Environment=JAVA_HOME=/opt/jre
ExecStart=/opt/elasticsearch/bin/elasticsearch
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

启动 elasticsearch 服务

1
2

systemctl daemon-reload
systemctl start elasticsearch

查看集群状态

查看集群节点状态

# 查看节点状态
curl http://192.168.1.228:9200/_cat/nodes?pretty
# 查看集群状态
curl http://192.168.1.228:9200/_cluster/state?pretty

安装分词插件

登陆 es227，下载插件 elasticsearch-analysis-ik-6.5.4.zip 至根目录下
复制该文件至 es228 和 es229 的根目录下

每个节点上安装

1
2

su - elastic
/opt/elasticsearch/bin/elasticsearch-plugin install file:///elasticsearch-analysis-ik-6.5.4.zip

配置远程扩展字典时，出现 java.net.SocketPermission 拒绝连接，此时需配置 jre 策略

1
2

# vim /opt/jre/lib/security/java.policy，在最后一个 "}" 前追加下面一行
permission java.net.SocketPermission "*:*","accept,connect,resolve";

CentOS7 安装 Cassandra 集群

Wed, 30 Oct 2019 00:59:02 +0800

环境

主机名	Public IP	Cluster IP	操作系统	Cassandra 版本
cassandra101	10.0.4.101	10.10.10.101	CentOS7.6	3.0.18
cassandra102	10.0.4.102	10.10.10.102	CentOS7.6	3.0.18
cassandra103	10.0.4.103	10.10.10.103	CentOS7.6	3.0.18

下载 apache-cassandra-3.0.18-bin.tar.gz

各节点初始配置

关闭 selinux、防火墙
部署 java 运行环境
创建 cassandra 用户
1

useradd -m cassandra

创建数据目录

cd /var/lib
mkdir -p cassandra/data1 #多个存储磁盘可以创建多个数据存储目录
mkdir -p cassandra/hints #建议与数据磁盘分开
mkdir -p cassandra/commitlog #建议与数据磁盘分开
mkdir -p cassandra/saved_caches #建议与数据磁盘分开
chown -R cassandra.cassandra cassandra/

创建日志目录

1
2
3

cd /var/log
mkdir -p cassandra
chown -R cassandra.cassandra cassandra/

创建 pid 目录

1
2
3

cd /run
mkdir -p cassandra
chown -R cassandra.cassandra cassandra/

增加 sysctl.conf 配置，执行 sysctl -p 生效
1

vm.max_map_count=1048576
安装 jemalloc (推荐)
1

yum install jemalloc

创建文件 /usr/lib/systemd/system/cassandra.service，内容如下

[Unit]
Description=Cassandra
Requires=network.service
After=network.service
[Service]
Type=forking
WorkingDirectory=/opt/cassandra
Environment=JAVA_HOME=/opt/jre
Environment=LOCAL_JMX=no
PIDFile=/run/cassandra/cassandra.pid
ExecStart=/opt/cassandra/bin/cassandra -p /run/cassandra/cassandra.pid
User=cassandra
Group=cassandra
LimitNOFILE=65536
LimitNPROC=65536
LimitMEMLOCK=infinity
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

部署 Cassandra

登陆 cassandra101，下载 cassandra，解压至 /opt/ 下

修改 /opt/cassandra/conf/cassandra.yaml

cluster_name: CassandraCluster
hists_directory: /var/lib/cassandra/hints
data_file_directories:
    - /var/lib/cassandra/data1
commitlog_directory: /var/lib/cassandra/commitlog
saved_caches_directory: /var/lib/cassandra/saved_caches
seed_provider:
    - class_name: org.apache.cassandra.locator.SimpleSeedProvider
      parameters:
          - seeds: "10.10.10.101,10.10.10.102,10.10.10.103"
listen_address: 10.10.10.101
rpc_address: 10.0.4.101

修改 /opt/cassandra/conf/logback.xml

`1`	`sed -i 's,\${cassandra.logdir},/var/log,' /opt/cassandra/conf/logback.xml`

修改 /opt/cassandra/conf/cassandra-env.sh

1
2

# 这里我暂时关闭了 jmx 远程验证，否则需要手动创建 jmxremote.password 文件
sed -i 's/jmxremote.authenticate=true/jmxremote.authenticate=false/' /opt/cassandra/conf/cassandra-env.sh

修改 cassandra 目录的权限

`1`	`chown -R cassandra.cassandra cassandra/`

打包 cassandra 目录，部署到 cassandra102 和 cassandra103 的 /opt 下，并修改 cassandra.yaml

# cassandra102
listen_address: 10.10.10.102
rpc_address: 10.0.4.102
# cassandra103
listen_address: 10.10.10.103
rpc_address: 10.0.4.103

启动集群

启动 cassandra 服务

1
2
3


systemctl daemon-reload
systemctl start cassandra

简单使用

cqlsh 连接数据库

1
2

/opt/cassandra/bin/cqlsh 10.0.4.101 9042
cqlsh> desc keyspaces;

注意事项

创建包含复合主键的表

create table t1 (
    c1 text,
    c2 text,
    c3 text,
    c4 text,
    c5 text,
    primary key((c1,c2),c3,c4)
);

复合主键的第一列 “(c1,c2)” 构成 PartitionKey，其余列 c3,c4 都是 ClusteringKey
Cassandra 对 PartitionKey 计算 Hash 值，决定该记录的存放 node，ClusteringKey 在 Partition 内部排序
默认只支持主键列和索引列查询，否则需要手动指定 allow filtering
根据多个 ClustringKey 查询时，需指定全部的 PartitionKey，ClusteringKey 不能跳过
主键列不可修改

mysql/mariadb 备份

Wed, 30 Oct 2019 00:54:15 +0800

xtrabackup

环境

mysql 8.4
rockylinux 9.6

安装

下载与操作系统和 mysql 版本对应的通用二进制包，解压

1
2

tar zxf percona-xtrabackup-8.4.0-5-Linux-x86_64.glibc2.34-minimal.tar.gz
mv percona-xtrabackup-8.4.0-5-Linux-x86_64.glibc2.34-minimal /opt/pxb

备份前准备工作

备份目录如果是 nfs，挂载时需指定 sync 选项

创建备份用户

CREATE USER xb@localhost IDENTIFIED BY 'Xtrabackup_1234';
GRANT BACKUP_ADMIN, PROCESS, RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO xb@localhost;
GRANT SELECT ON performance_schema.log_status TO xb@localhost;
GRANT SELECT ON performance_schema.keyring_component_status TO xb@localhost;
GRANT SELECT ON performance_schema.replication_group_members TO xb@localhost;

全量备份和恢复

备份

CentOS7 安装 Postgresql

Wed, 30 Oct 2019 00:48:54 +0800

环境

CentOS 7
PostgreSQL 10.10

安装

安装 yum 源

yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# 或者从清华镜像站下载
yum install https://mirrors.tuna.tsinghua.edu.cn/postgresql/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# 可以更换成清华镜像站地址
sed -i 's,download.postgresql.org/pub,mirrors.tuna.tsinghua.edu.cn/postgresql,' /etc/yum.repos.d/pgdg-redhat-all.repo
# 更新 yum 缓存
yum clean all
yum makecache fast

安装 postgresql-server
1

yum install postgresql10-server

初始化数据库

`1`	`/usr/pgsql-10/bin/postgresql-10-setup initdb`

启动数据库
1

systemctl start postgresql-10

配置 postgresql.conf

监听本机全部地址
1

clisten_addresses = '*'

配置 pg_hba.conf

配置同网段客户端可通过 pguser1 使用密码登陆 pgdb1
1

echo 'host pgdb1 pguser1 samenet md5' >> pg_hba.conf
配置任何客户端可通过任何用户使用密码登陆任何数据库
1

echo 'host all all all md5' >> pg_hba.conf

简单使用

登陆数据库
1 2

su - postgres psql -U postgres

简单操作

-- 修改 postgres 用户的默认密码
alter user postgres with password '123456';
-- 创建新用户 pguser1
create user pguser1 with password '123456';
-- 创建数据库 pgdb1
create database pgdb1 owner pguser1 encoding utf8;
-- 授权
grant all on database pgdb1 to pguser1;
-- 查看系统操作帮助
\?
-- 查看 sql 语句操作帮助
\h
-- 查看建库语句操作
\h create database
-- 退出数据库
\q

迁移数据库目录

停止数据库 postgresql
1

systemctl stop postgresql-10

移动数据库目录

1
2
3

mkdir -p /data/pgsql/10
mv /var/lib/pgsql/10/data /data/pgsql/10/
chown -R postgres.postgres /data/pgsql

修改 service 文件

1
2

sed -i 's,/var/lib/pgsql/10,/data/pgsql/10,' /usr/lib/systemd/system/postgresql-10.service
systemctl daemon-reload

启动数据库
1

systemctl start postgresql-10