Posts on Colben Notes

Qemu 启动 arm64 虚拟机

Thu, 24 Apr 2025 17:35:00 +0800

安装 qemu

安装依赖

dnf install \
    gcc make cmake ninja-build \
    xz bzip2 \
    python3 perl-interpreter \
    glib2-devel pixman-devel zlib-devel \
    diffutils findutils

编译 qemu

curl -LO https://download.qemu.org/qemu-6.2.0.tar.xz
tar xf qemu-6.2.0.tar.xz
cd qemu-6.2.0
mkdir /opt/qemu-aarch64
./configure --prefix=/opt/qemu-aarch64/ –-target-list=aarch64-softmmu
make
make install

下载 efi 固件

`1`	`curl -LO https://releases.linaro.org/components/kernel/uefi-linaro/16.02/release/qemu64/QEMU_EFI.fd`

创建 arm64 虚拟机

下载 Rocky Linux 8 iso 镜像文件

Incus 安装

Sun, 05 Jan 2025 11:09:00 +0800

单机环境

服务器

处理器	内存	系统盘	数据盘
4核	8GB	30GB	30GB

操作系统配置

在 /etc/security/limits.conf 中追加如下配置

*        soft    nofile    1048576
*        hard    nofile    1048576
root     soft    nofile    1048576
root     hard    nofile    1048576
*        soft    memlock   unlimited
*        hard    memlock   unlimited
root     soft    memlock   unlimited
root     hard    memlock   unlimited

在 /etc/sysctl.conf 中追加如下配置

Windows 多用户远程桌面

Tue, 24 Dec 2024 19:26:00 +0800

Win10

开启远程桌面服务

登录管理员账号
单击“开始”，搜索“远程桌面”，如下图
开启远程桌面服务，如下图

配置多用户登录

登录管理员账号
快捷键 Win + R，运行“gpedit.msc”，如下图

硬盘扩容

Wed, 10 Jul 2024 19:49:00 +0800

裸盘在线扩容

环境：/dev/sdb 直接挂载在 /data/ 下

直接更新文件系统

1
2

resize2fs /dev/sdb    # ext4 文件系统，参数是设备
xfs_growfs /data    # xfs 文件系统，参数是挂载点

分区在线扩容

环境：/dev/sdb1 直接挂载在 /data/ 下

OpenSSH 升级

Tue, 02 Jul 2024 19:00:00 +0800

源码包

编译 openssl

下载 openssl 源码包，解压

1
2
3

curl -LO https://github.com/openssl/openssl/releases/download/openssl-3.5.6/openssl-3.5.6.tar.gz
tar zxf openssl-3.5.6.tar.gz
cd openssl-3.5.6

编译安装 openssl

1
2
3

./Configure --prefix=/opt/openssl 
make
make install

编译 openssh

下载 openssh 源码包，解压

curl -LO https://cdn.openbsd.org/pub/OpenBSD/OpenSSH/portable/openssh-10.3p1.tar.gz
tar zxf openssh-10.3p1.tar.gz
cd openssh-10.3p1/
# 版本信息在 version.h

编译安装 openssh

Redis 数据迁移

Wed, 31 Jan 2024 18:09:00 +0800

环境

Redis: 5.0.14

源集群实例

1
2
3

... 127.0.0.10:6371@16371 ... connected 0-5460
... 127.0.0.10:6372@16372 ... connected 5461-10922
... 127.0.0.10:6373@16373 ... connected 10923-16383

源集群密码: 123456

目的集群实例

1
2
3

... 127.0.0.11:6371@16371 ... connected 0-5460
... 127.0.0.11:6372@16372 ... connected 5461-10922
... 127.0.0.11:6373@16373 ... connected 10923-16383

目的集群密码: 123456
redis 数据迁移工具: redis-dump-go

hadoop3.3 集群部署

Fri, 28 Jul 2023 14:00:00 +0800

环境

主机名	地址	数据目录	组件
hdp-nn	192.168.8.1/24	/data/hdp-nn	Namenode Spark
hdp-snn	192.168.8.2/24	/data/hdp-snn	SecondaryNamenode
hdp-rm	192.168.8.3/24	-	ResourceManager
hdp-worker0	192.168.8.10/24	/data/hdp-dn	Datanode NodeManager Spark
hdp-worker1	192.168.8.11/24	/data/hdp-dn	Datanode NodeManager Spark
hive-hs	192.168.8.20/24	-	HiveServer2 Tez
hive-ms	192.168.8.21/24	-	HiveMetastore Tez

部署 hadoop 集群

服务器初始配置

在全部主机上执行如下操作
禁用防火墙
禁用 selinux
配置时间同步

配置主机名解析，修改 /etc/hosts，增加如下内容

# hadoop
192.168.8.1  hdp-nn
192.168.8.2  hdp-snn
192.168.8.3  hdp-dn
192.168.8.10 hdp-worker0
192.168.8.11 hdp-worker1

ssh 免密登录

在 hdp-nn 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-workerX

hadoop2.10 部署

Tue, 23 May 2023 10:00:00 +0800

环境

主机名	地址	数据目录	组件
编译服务器	-	-	各种编译工具
hdp-nn	192.168.8.1/24	/data/hdp-nn	Namenode Spark
hdp-snn	192.168.8.2/24	/data/hdp-snn	SecondaryNamenode
hdp-rm	192.168.8.3/24	-	ResourceManager
hdp-slave0	192.168.8.10/24	/data/hdp-dn	Datanode NodeManager Spark
hdp-slave1	192.168.8.11/24	/data/hdp-dn	Datanode NodeManager Spark
hive-hs	192.168.8.20/24	-	HiveServer2 Tez
hive-ms	192.168.8.21/24	-	HiveMetastore Tez
hbase-m	192.168.8.30/24	-	HbaseMaster
hbase-bm	192.168.8.31/24	-	HbaseBackupMaster
hbase-rs0	192.168.8.32/24	-	HbaseRigionServer
hbase-rs1	192.168.8.33/24	-	HbaseRigionServer

部署 hadoop 集群

服务器初始配置

在全部主机上执行如下操作
禁用防火墙
禁用 selinux
配置时间同步

配置主机名解析，修改 /etc/hosts，增加如下内容

# hadoop
192.168.8.1  hdp-nn
192.168.8.2  hdp-snn
192.168.8.3  hdp-dn
192.168.8.10 hdp-slave0
192.168.8.11 hdp-slave1

ssh 免密登录

在 hdp-nn 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-slaveX

Windows 笔记

Mon, 03 Apr 2023 16:04:00 +0800

激活 windows

Windows 10 专业版

slmgr /upk
slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX
slmgr /skms zh.us.to
# 如果 zh.us.to 不通，可以尝试 kms8.msguides.com
slmgr /ato

Windows 11 专业版

slmgr.vbs /upk
slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX
slmgr /skms kms.loli.best
slmgr /ato

Windows 7 旗舰版密钥：26VR7-RGFWJ-YFMB2-X3YXM-2KY3R

Nginx 安装

Wed, 01 Mar 2023 18:07:00 +0800

环境

操作系统 CentOS7.9

包管理器直接安装

创建 yum 源文件 /etc/yum.repos.d/nginx-nju.repo，内容如下

echo '[nginx-stable]
name=nginx stable repo
#baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
baseurl=https://mirrors.nju.edu.cn/nginx/rhel/$releasever/$basearch/
gpgcheck=0
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

安装 nginx

Letsencrypt 笔记

Sat, 06 Nov 2021 20:52:00 +0800

直接部署（不推荐）

安装 certbot

在 alpine linux 中安装 certbot
1

apk add --no-cache certbot openssl

`1`	`certbot register --register-unsafely-without-email --agree-tos`

申请常规域名证书

申请 ssl 证书，有效期 90 天

certbot certonly -n -d x.x.com --standalone

# 证书文件生成到 /etc/letsencrypt/live/x.x.com/ 下
# 参数 -d 可以使用多次来指定多个域名，也可以在一个 -d 参数中使用逗号分隔多个域名
# 参数 --cert-name 可以指定证书文件的父级目录名字(替换默认的 x.x.com)

续签 ssl 证书

Minio 笔记

Sun, 17 Oct 2021 00:48:00 +0800

部署单节点分布式存储

环境

服务器 IP: 192.168.1.10
自定义域名: X.X.X

安装 minio

下载

1
2
3

curl -L -o /usr/local/bin/minio https://dl.min.io/server/minio/release/linux-amd64/minio
curl -L -o /usr/local/bin/mc https://dl.min.io/client/mc/release/linux-amd64/mc
chmod 0755 /usr/local/bin/{minio,mc}

修改 hosts，增加自定义域名解析
1

192.168.1.10 X.X.X
创建四个目录，用于存储 minio 数据
1

mkdir -p /minio/{1,2,3,4}
创建 /etc/systemd/system/minio.service，内容如下

Rust 笔记

Sun, 29 Aug 2021 15:02:13 +0800

安装 rust

安装 rustup，参考官网

export RUST_UPDATE_ROOT=https://mirrors.tuna.tsinghua.edu.cn/rustup
export RUSTUP_DIST_SERVER=https://mirrors.tuna.tsinghua.edu.cn/rustup
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 按照提示，一直 default 即可

配置 rustup、toolchain 和 target 更新源

1
2
3

cat >> /etc/profile.d/rustup.sh <<-EOF
    export RUSTUP_DIST_SERVER=https://mirrors.tuna.tsinghua.edu.cn/rustup
EOF

配置 crate 源

安装 Archlinux

Sun, 04 Jul 2021 11:23:00 +0800

U 盘启动，进入 archlinux live

下载 archlinux 镜像

`1`	`curl -LO https://mirrors.tuna.tsinghua.edu.cn/archlinux/iso/2026.01.01/archlinux-2026.01.01-x86_64.iso`

把镜像写进一个无用的 U 盘(/dev/sdX)

`1`	`dd if=archlinux-2026.01.01-x86_64.iso bs=1M of=/dev/sdX`

使用该 U 盘启动自己的 PC，进入 archlinux live

联网，硬盘分区，安装系统

插上网线，自动分配地址，验证是否可以连接外网

华为 hcnp 笔记

Sat, 06 Mar 2021 22:45:00 +0800

基本命令

查看操作系统

用户模式下执行
1

dis version

修改语言

用户模式下执行
1

language-mode Chinese

保存配置

用户模式下执行
1

save

修改主机名

系统模式下执行
1

sysname XXXX

关闭提示信息

系统模式下执行
1

undo info-center enable

显示当前模式配置

任何模式下执行
1

dis this

接口

显示接口摘要信息

任何模式下执行
1

dis ip int brief

显示接口类型

任何模式下执行
1

dis port vlan

配置接口 IP

系统模式下执行

1
2

int e0/0/0
    ip addr 172.16.1.1 24

配置接口描述信息

系统模式下执行
1 2

int e0/0/0 description ...

配置接口组

系统模式下执行
1

port-group g e0/0/2 to e0/0/8

接口安全

默认只允许一个 mac 地址通信

系统模式下执行

int gi0/0/1
    port-security enable
    port-security mac-address sticky # 只允许第一次连接的设备上网
    port-security mac-address sticky xxxx-xxxx-xxxx vlan 1 # 只允许指定 mac 的设备上网
    port-security max-mac-num 4 # 允许 4 个不同的 mac 地址通信
    port-security protect-action restrict # 触发安全操作时，交换机接口阻塞并警告

接口镜像

系统模式下执行

1
2
3

observe-port 1 int gi0/0/24 # 把 24 口设置为观察口
int gi0/0/1 # 指定要镜像的接口
    port-mirroring to observe-port 1 both # 把 1 口流量复制到 24 口

Vlan

虚拟局域网(Virtual Local Area Network)

Drone 笔记

Mon, 08 Feb 2021 17:03:13 +0800

环境

操作系统 Linux x86_64
这里的 drone 是基于 gitea 配置的
安装 gitea，参考官方文档
安装 docker-ce，参考我的 docker 笔记

创建 OAuth2 应用

登陆 gitea
点击 “个人头像” - “设置” - “应用”

ClickHouse 维护

Sat, 10 Oct 2020 01:30:00 +0800

指标

system.metrics: 正在执行的概要信息，如正在运行的查询和操作数量
system.events: 累积概要信息，如总的查询次数或 SELECT 次数
system.asynchronous_metrics: 后台异步运行的概要信息，如分配内存、队列中的人物数量

日志

system.query: 执行用户、查询语句、执行时间、返回数据量等信息

ClickHouse 集群

Fri, 09 Oct 2020 22:14:00 +0800

简介

一个集群包含多个逻辑分片，每个逻辑分片包含多个副本节点
向集群内读写数据时，需依赖 Distributed 引擎表做为代理，实现数据的分发、写入、查询和路由
ReplicatedMerge 表引擎配合 zookeeper 实现数据的复制

集群配置

节点分配

ClickHouse 数据查询

Thu, 08 Oct 2020 19:27:00 +0800

查询注意

避免使用 SELECT * 查询

WITH

WITH 子句只能返回一行数据
定义变量
1

WITH 10 AS var_name SELECT ...

调用函数

`1`	`WITH SUM(column_name) AS with_name SELECT ...`

定义子查询

WITH (
    SELECT ...
) AS with_name
SELECt ...

WITH 子句可在子查询中嵌套使用

ClickHouse 表引擎之 URL

Thu, 08 Oct 2020 19:16:00 +0800

URL 表引擎简介

http 客户端，支持 http 和 https 协议
SELECT 转换成 GET 请求
INSERT 转换成 POST 请求

创建 URL 表引擎

声明
1

ENGINE = URL('url', format)
url: 请求远端服务的 url
format: TSV、CSV、JSONEachRow

ClickHouse 表引擎之 Null

Thu, 08 Oct 2020 19:11:00 +0800

Null 表引擎简介

类似 /dev/null，忽略写入的任何数据，查询时返回空表
如果物化视图不需要保留源表数据，则可设置源表为 Null 引擎

创建 Null 表引擎

声明
1

ENGINE = Null

ClickHouse 视图之 Live View

Thu, 08 Oct 2020 19:05:00 +0800

Live View 视图简介

类似时间监听器

需设置 allow_experimental_live_view 为 1，检查

`1`	`SELECT name, value FROM system.settings WHERE name LIKE '%live_view%';`

创建 Live View 视图

创建

`1`	`CREATE LIVE VIEW lv_name AS SELECT count(*) FROM table_name;`

监听
1

WATCH lv_name

ClickHouse 表引擎之 Merge

Thu, 08 Oct 2020 18:35:00 +0800

Merge 表引擎简介

本身不存储数据，只整合其他数据表
不支持数据写入
合并异步查询的结果集
各异步查询的数据表需要在同一个数据库下，且表结构相同，表引擎和分区定义可不同

创建 Merge 表引擎

声明

ClickHouse 表引擎之日志

Thu, 08 Oct 2020 18:23:00 +0800

日志表引擎简介

数据量 100 万行一下，一次写入多次查询
不支持索引、分区、并发读写

TinyLog 表引擎

数据文件按列存储
无标记文件，不支持并行读取
声明
1

ENGINE = TinyLog()

StripeLog 表引擎

只用数据写入一个文件
有数据标记文件，可并行读取
声明
1

ENGINE = StripeLog()

Log 表引擎

数据文件按列存储
有数据标记文件，可并行读取
声明
1

ENGINE = Log()

ClickHouse 表引擎之 Buffer

Thu, 08 Oct 2020 18:08:00 +0800

Buffer 表引擎简介

只写内存，无持久化存储
缓冲高并发写入，满足条件时，Buffer 表会把数据刷新到目标表

创建 Join 引擎表

声明

ENGINE = Buffer(
    database,
    table,
    num_layers,
    min_time,
    max_time,
    min_rows,
    max_rows,
    min_bytes,
    max_bytes
)

database: 目标表所在数据库

ClickHouse 表引擎之 Join

Thu, 08 Oct 2020 17:40:00 +0800

Join 表引擎简介

数据先写内存，再同步到磁盘，服务重启后全量加载到内存
与 Set 表引擎共用大部分处理逻辑
简单封装了一层 JOIN 查询，主要用做 JOIN 查询

创建 Join 引擎表

声明

ClickHouse 表引擎之 Set

Thu, 08 Oct 2020 17:04:00 +0800

Set 表引擎简介

数据先写内存，再同步到磁盘，服务重启后全量加载到内存
支持 INSERT，写入时，重复数据被忽略
不能直接 SELECT，只能作为 IN 查询的右侧条件

创建 Set 引擎表

声明
1

ENGINE = Set()

使用

创建 Set 引擎表
INSERT 写入数据

查询

`1`	`SELECT arrayJoin([1,2,3]) AS a WHERE a IN set_table;`

ClickHouse 表引擎之 Memory

Thu, 08 Oct 2020 13:00:00 +0800

Memory 表引擎简介

数据只存于内存中，无压缩，无格式转换
支持并行查询
一般用于 clickhouse 内部，作为集群间分发数据的载体

创建 Memory 引擎表

声明
1

ENGINE = Memory()

ClickHouse 表引擎之 File

Thu, 08 Oct 2020 12:00:00 +0800

File 表引擎简介

直接读取本地文件
修改文件 = 数据更新
导出数据到本地文件
数据格式转换

创建 FILE 引擎表

声明
1

ENGINE = File('format')
format 是文件中的数据格式，如 TSV、CSV 和 JSONEachRow 等

ClickHouse 表引擎之 Kafka

Thu, 08 Oct 2020 10:42:00 +0800

Kafka 表引擎简介

对接 Kafka 系统，订阅 Kafka 主题，接收消息

创建 Kafka 引擎表

声明

ENGINE = Kafka()
SETTINGS
    kafka_broker_list = 'host:port, ...',
    kafka_topic_list = 'topic1, topic2, ...',
    kafka_group_name = 'consumer_group_name',
    kafka_format = 'data_format',
    [kafka_row_delimiter = 'delimiter_symbol',]
    [kafka_schema = '',]
    [kafka_num_consumers = N,]
    [kafka_skip_broken_messages = N,]
    [kafka_commit_every_batch =N];

kafka_broker_list: kafka 节点地址列表，用逗号分隔

ClickHouse 表引擎之 MySQL

Thu, 08 Oct 2020 10:15:00 +0800

MySQL 表引擎简介

可以与 MySQL 数据库中的表建立映射
只支持 SELECT 和 INSERT，不支持 UPDATE 和 DELETE

创建 MySQL 引擎表

声明

ENGINE = MySQL(
    'host:port',
    'database',
    'table',
    'user',
    'password'
    [,
        replace_query,
        'on_duplicate_clause'
    ]
)

host:port: mysql 的地址和端口

ClickHouse 表引擎之 MergeTree(合并树)

Tue, 06 Oct 2020 19:55:00 +0800

简介

支持主键索引、数据分区、数据副本、数据采样、ALTER 操作
扩展表引擎丰富，生产环境中大多使用该表引擎
数据以片段形式写入磁盘，后台定期合并片段到各分区相应片段

数据表

建表语句

ClickHouse 数据字典

Wed, 23 Sep 2020 13:30:00 +0800

简介

常驻内存，支持动态更新
适合保存常量和经常使用的维度表数据
可通过字典函数访问，也可通过袋里表与其他数据表实现 JOIN 查询

内置字典

默认禁用
不想写了，没啥意思

外部扩展字典

配置文件

位置: /etc/clickhouse-server/*_dictionary.xml
自动感知变更，不停机在线更新
系统表: system.dictionaries

配置结构

<?xml version="1.0"?>
<dictionaries>
  <dictionary>
    <!-- 字典名称，全局唯一 -->
    <name>dict_name</name>

    <!-- 字典数据结构 -->
    <structure>
      <!-- 数值 key，UInt64，支持字典类型: flat、hashed、range_hashed、cache -->
      <id>
        <name>field_name</name>
      <id>

      <!-- 复合 key，Tuple，类似复合主键，支持字典类型: complex_key_hashed、complex_key_cache -->
      <key>
        <attribute>
          <name>field_name</name>
          <type>field_type</type>
        </attribute>
        <attribute>
          ...
        </attribute>
      </key>

      <!-- 字符串 key，String，支持字典类型: ip_trie -->
      <key>
        <attribute>
          <name>field_name</name>
          <type>String</type>
        </attribute>
      </key>

      <!-- 只在 range_hashed 字典类型中使用 -->
      <range_min>
        <name>field_name</name>
      </range_min>
      <range_max>
        <name>field_name</name>
      </range_max>

      <!-- 字典属性 -->
      <attribute>
        <!-- 字段名称，必填 -->
        <name>field_name</name>

        <!-- 字段类型，必填 -->
        <type>field_type</type>

        <!-- 查询时，key 无对应字段时的默认值，必填，这里指定的是空字符串 -->
        <null_value></null_value>

        <!-- 函数或运算符表达式，非必填，默认无表达式 -->
        <expression></expression>

        <!-- 是否支持层次结构，非必填，默认 false -->
        <hierarchical>false</hierarchical>

        <!-- 是否支持单射优化，非必填，默认 false -->
        <injective>false</injective>

        <!-- 是否开启 MongoDB 优化，非必填，默认 false -->
        <is_object_id>false</is_object_id>
      </attribute>
    </structure>

    <!-- 在内存中的数据格式类型 -->
    <layout>
      <!-- 性能最高，只能用数值 key，数组结构保存，初始容量 1024，上限 500000
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <flat/>

      <!-- 只能用数值 key，散列结构保存，无存储上限
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <hashed/>

      <!-- 只能用数值 key，散列结构保存并按时间排序，无存储上限
        range_min 和 range_max 指定时间区间字段，且字段必须是 Date 或 DateTime 类型
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <range_hashed/>

      <!-- 只能用数值 key，固定大小(size_in_cells)数组存储
        cells 数组未缓存的数据在查询时才会加载并缓存到 cells 中，性能不稳定
        支持数据源: Executable file、HTTP、ClickHouse、MySQL -->
      <cache>
        <!-- 缓存大小，视内存而定 -->
        <size_in_cells>16384</size_in_cells>
      </cache>

      <!-- 只能用复合 key，其他与 hashed 一样 -->
      <complex_key_hashed/>

      <!-- 只能用复合 key，其他与 cache 一样 -->
      <complex_key_cache>
        <size_in_cells>16384</size_in_cells>
      </complex_key_cache>

      <!-- 只能用单个 String 字段，trie 树结构，专用语 IP 前缀查询
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <ip_trie/>
    </layout>

    <!-- 数据源 -->
    <source>
      <!-- 本地文件，如果文件修改时间出现变动，会出发数据更新 -->
      <file>
        <path>/path/to/data.csv</path>
        <format>CSV</format>
      </file>

      <!-- 可执行文件，如果文件修改时间出现变动，会出发数据更新 -->
      <executable>
        <command>cat /path/to/data.csv</command>
        <format>CSV</format>
      </executable>

      <!-- 远程文件，支持 http 和 https 协议，post 请求，如果文件修改时间出现变动，会出发数据更新 -->
      <http>
        <url>http://192.168.1.2:9080/data.csv</url>
        <format>CSV</format>
      </http>

      <!-- mysql -->
      <mysql>
        <user>root</root>
        <password>123456<password>
        <replica>
          <host>192.168.1.3</host>
          <priority>1</priority>
        </replica>
        <port>3306</port>
        <db>db_name</db>
        <table>table_name</table>

        <!-- 查询过滤条件，非必填 -->
        <where>id=1</where>

        <!-- 指定一条 sql 语句，如果返回结果和上一次不一样，则更新，非必填 -->
        <invalidate_query>sql</invalidate_query>
      </mysql>

      <!-- clickhouse -->
      <clickhouse>
        <user>default</root>
        <password><password>
        <host>192.168.1.4</host>
        <port>9000</port>
        <db>default</db>
        <table>table_name</table>
        <where>id=1</where>
        <invalidate_query>sql</invalidate_query>
      </clickhouse>

      <!-- mongodb -->
      <mongodb>
        <user></root>
        <password><password>
        <host>192.168.1.5</host>
        <port>27017</port>
        <db>db_name</db>
        <colection>collection_name</collection>
      </mongodb>

      <!-- odbc 连接其他数据库 ... -->
    </source>

    <!-- 字典自动更新频率，单位秒，min 和 max 都是 0 表示禁用更新
      在 cache 字典中还代表缓存失效时间
      字典更新时旧版本依旧提供服务，新版本完全更新成功后才会替代就版本 -->
    <lifetime>
      <min>300</min>
      <max>360</max>
    </lifetime>
  </dictionary>
  <dictionary>
      ...
  </dictionary>
</dictionaries>

操作

手动更新全部数据字典

ClickHouse 数据定义

Wed, 23 Sep 2020 12:00:00 +0800

基础类型

整数

声明	大小(字节)	范围
Int8	1	-128 到 127
UInt8	1	0 到 255
Int16	2	-32768 到 32767
UInt16	2	0 到 65535
Int32	4	-2147483648 到 2147483647
UInt32	4	0 到 4294967295
Int64	8	-9223372036854775808 到 9223372036854775807
UInt64	8	0 到 18446744073709551615

浮点数

声明	大小(字节)	有效精度(位数)
Float32	4	7
Float64	8	16

正无穷: SELECT 0.8/0
负无穷: SELECT -0.8/0
非数字: SELECT 0/0

定点数

原生声明: Decimal(P,S)

CentOS7 安装 ClickHouse 集群

Wed, 23 Sep 2020 10:18:00 +0800

环境

Zookeeper 服务器

eth0 IP	eth1 IP	操作系统	ZK 版本	myid
10.0.4.101	10.1.4.101	CentOS7.8	3.4.14	101
10.0.4.102	10.1.4.102	CentOS7.8	3.4.14	102
10.0.4.103	10.1.4.103	CentOS7.8	3.4.14	103

eth0 网卡用于向客户端提供服务，eth1 网卡用于 Zookeeper 集群内部通信
配置时间同步，关闭 selinux 和 firewalld

ClickHouse 服务器

eth0 IP	eth1 IP	操作系统	CH 版本	shard 值	replica 值
10.0.4.181	10.1.4.181	CentOS7.8	20.3 LTS	1	10.1.4.181
10.0.4.182	10.1.4.182	CentOS7.8	20.3 LTS	1	10.1.4.182
10.0.4.183	10.1.4.183	CentOS7.8	20.3 LTS	2	10.1.4.183
10.0.4.184	10.1.4.184	CentOS7.8	20.3 LTS	2	10.1.4.184
10.0.4.185	10.1.4.185	CentOS7.8	20.3 LTS	3	10.1.4.185
10.0.4.186	10.1.4.186	CentOS7.8	20.3 LTS	3	10.1.4.186

eth0 网卡用于向客户端提供服务，eth1 网卡用于 ClickHouse 集群内部通信
配置时间同步，关闭 selinux 和 firewalld

安装 Zookeeper 集群

ClickHouse 集群依赖 zookeeper 管理集群配置
安装过程参考: CentOS7 安装 zookeeper 集群
启动 zookeeper 集群，zookeeper 正常运行后，才能进行后续步骤

安装 ClickHouse 集群

配置 ClickHouse yum 源

在每台 ClickHouse 服务器上执行如下操作

CentOS7 安装 Cloudera Manager

Sun, 16 Aug 2020 13:48:37 +0800

环境

角色	IP	主机名	服务
Utility	192.168.1.100	cm0.colben.cn	ClouderaManager
			ManagementService
			HiveMetastore
Gateway	192.168.1.101	gw0.colben.cn	GatewayConfiguration
			HiveServer2
			Zookeeper
Master	192.168.1.102	m0.colben.cn	NameNode
			JournalNode
			FailoverController
			YarnResourceManager
			Zookeeper
Master	192.168.1.103	m1.colben.cn	NameNode
			JournalNode
			FailoverController
			YarnResourceManager
			Zookeeper
Worker	192.168.1.104	w0.colben.cn	DataNode
			NodeManager
Worker	192.168.1.105	w0.colben.cn	DataNode
			NodeManager
Worker	192.168.1.106	w0.colben.cn	DataNode
			NodeManager

配置 ssh 免密登陆

在 cm0 上配置 ssh 可免密登陆全部服务器

RockyLinux 8.5 安装 K3S

Thu, 25 Jun 2020 14:21:00 +0800

环境

角色	主机名	IP	操作系统	软件
镜像库	k3s-170	10.0.4.170	RockyLinux 8.5	registry
数据库	k3s-170	10.0.4.170	RockyLinux 8.5	mysql
负载均衡	k3s-170	10.0.4.170	RockyLinux 8.5	nginx
k3s server	k3s-171	10.0.4.171	RockyLinux 8.5	k3s v1.27.4
k3s server	k3s-172	10.0.4.172	RockyLinux 8.5	k3s v1.27.4
k3s agent	k3s-173	10.0.4.173	RockyLinux 8.5	k3s v1.27.4
k3s agent	k3s-174	10.0.4.174	RockyLinux 8.5	k3s v1.27.4
k3s agent	k3s-175	10.0.4.175	RockyLinux 8.5	k3s v1.27.4

前期准备

全部服务器关闭 firewalld、selinux 和 swap，设置时间同步
全部 k3s 服务器(除了k3s-170)必须设置唯一主机名
在 k3s-170 上执行如下操作
安装 docker 环境，部署私有镜像库
安装 mysql，用来存储 k3s server 数据
安装 nginx，四层均衡负载两个 k3s server
下载 k3s 二进制文件和部署脚本

安装私有镜像库

在 k3s-170 上执行如下操作

MySQL 组复制

Tue, 28 Apr 2020 00:52:00 +0800

环境

hostname	ip	os	mysql
mysql_11	192.168.1.11	centos7.7	8.0.19
mysql_22	192.168.1.22	centos7.7	8.0.19
mysql_33	192.168.1.33	centos7.7	8.0.19

安装 mysql

懒得写了 …

修改 my.cnf

# mysql_11(选择一个)
server-id = 11
# mysql_22(选择一个)
server-id = 22
# mysql_33(选择一个)
server-id = 33

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = ROW
# 关闭 binlog 校验
binlog-checksum = NONE
# 保留 2 天的 binlog
binlog-expire-logs-seconds = 172800
# 开启 gtid
gtid-mode = ON
enforce-gtid-consistency = TRUE
# 指定 relay-log 存储位置
relay-log = /var/lib/mysql-bin/slave
# relay-log 更新计入 binlog
log-slave-updates = TRUE

# 多线程执行从库日志(可选)
slave-parallel-workers = 2
slave-parallel-type = LOGICAL_CLOCK
slave-preserve-commit-order = ON

# 存储引擎只能用 InnoDB
disabled-storage-engines = "MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"
# 加载插件，克隆插件用于快速 state transfer
plugin-load-add = "group_replication.so;mysql_clone.so"
# 集群 uuid
group-replication-group-name = "aaaa1111-bbbb-2222-cccc-3333dddd4444"

# mysql_11(选择一个)
group-replication-local-address = "192.168.1.11:33061"
# mysql_22(选择一个)
group-replication-local-address = "192.168.1.22:33061"
# mysql_33(选择一个)
group-replication-local-address = "192.168.1.33:33061"

# 种子节点
group-replication-group-seeds = "192.168.1.11:33061,192.168.1.22:33061,192.168.1.33:33061"
# 新主库在执行完自己的从库日志后，再处理用户的写请求
group-replication-consistency = BEFORE_ON_PRIMARY_FAILOVER
# 启动时，不自动创建/初始化新集群
group-replication-bootstrap-group = OFF
# 新节点启动时，先不启动组复制，待手动配置完成并确认正常后，再把 OFF 改成 ON
group-replication-start-on-boot = OFF

# 怀疑某节点不可用，2秒内，如果该嫌疑节点依旧无响应，则开除它(可选)
group-replication-member-expel-timeout = 2
# 2秒内，依旧连接不上主网(majority)，则退出组复制，进入 ERROR 状态(可选)
group-replication-unreachable-majority-timeout = 2
# 退出组复制后，不再尝试重新加入组复制，直接执行指定的退出动作(默认)
group-replication-autorejoin-tries = 0
# 指定退出动作: 数据库设置超级只读并关闭客户端连接(推荐)
group-replication-exit-state-action = OFFLINE_MODE

初始化集群

重新启动节点 mysql_11

MariaDB 主从复制

Mon, 13 Apr 2020 18:00:00 +0800

环境

mariadb 主服务器，centos7.8，192.168.1.141
mariadb 主服务器，centos7.8，192.168.1.142
mariadb 从服务器，centos7.8，192.168.1.143
忽略系统数据库: information_schema, mysql, performance_schema

在两个主服务器上创建用于备份的用户 replicator

1
2

grant replication slave on *.* to 'replicator'@'%' identified by 'password';
flush privileges;

在两个主服务器上修改 my.cnf

# 唯一 ID
# 192.168.1.141 配置 
server-id = 141
# 192.168.1.142 配置 
server-id = 142
read-only = 0

# binlog
# MariaDB 默认已开启 GTID
log-bin          = /var/lib/mysql-bin/master
binlog-format    = row
sync_binlog      = 1
expire-logs-days = 3
gtid-strict-mode = ON

# relay log
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = init_sql.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
relay-log                   = /var/lib/mysql-bin/slave
relay-log-recovery          = TRUE
# 复制线程数不超过 cpu 核数
slave-parallel-threads      = 4

# 双主或多主互备时，可能会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =
# 该环境中，双主配合 keepalived 实现高可用，无需配置自增

开启互主同步

-- 在 192.168.1.141 上启动 mariadb，配置同步 192.168.1.142:
change master to master_host = '192.168.1.142',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_use_gtid = slave_pos;

-- 在 192.168.1.142 上启动 mariadb，配置同步 192.168.1.141:
change master to master_host = '192.168.1.141',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_use_gtid = slave_pos;

在两个主服务器上启动 slave ，查看 slave 状态

start slave;
-- 查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

在从服务器上编辑 my.cnf

# 唯一 ID
server-id = 143
# 从服务器只做查询，无增删改
read-only = 1

# 忽略的数据表
#replicate-ignore-table     = db1.t1
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = init_sql.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
relay-log                   = /var/log/mysql-bin/slave
slave-parallel-threads      = 4

开启同步

change master 'db141' to master_host = '192.168.1.141',
                         master_port = 3306,
                         master_user = 'replicator',
                         master_password = 'password',
                         master_use_gtid = slave_pos;

change master 'db142' to master_host = '192.168.1.142',
                         master_port = 3306,
                         master_user = 'replicator',
                         master_password = 'password',
                         master_use_gtid = slave_pos;

在从服务器上启动 slave ，查看 slave 状态

start all slaves;
-- 在从服务器上查看 slave 状态
show all slaves status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

参考

ConfigMap 笔记

Sun, 22 Dec 2019 22:04:37 +0800

概述

ConfigMap 通常用于设置环境变量、设置命令行参数、创建配置文件
Pod 使用 ConfigMap 前，ConfigMap 必须存在，否则 pod 不能启动
ConfigMap 只能被在同一一个命名空间中的Pod所引用

创建 ConfigMap

命令如下

1
2
3

kubectl create configmap <map-name> <data-source>
# 或者
kubectl apply -f <configmap-file.yml>

map-name: ConfigMap 名称
data-source: 目录、文件或具体值

通过目录创建 ConfigMaps

命令如下

1
2

kubectl create configmap game-config \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl

docs/tasks/configure-pod-container/configmap/kubectl/目录下的文件包括

`1`	`ls docs/tasks/configure-pod-container/configmap/kubectl/`

输出如下
1 2

game.properties ui.properties

查看 game-config 信息

1
2
3

kubectl describe configmaps game-config
# 或者
kubectl get configmaps game-config -o yaml

通过文件创建 ConfigMaps

通过单个文件创建

1
2

kubectl create configmap game-config-2 \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/game.properties

通过多个文件创建

1
2
3

kubectl create configmap game-config-3 \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/game.properties \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/ui.properties

通过文件创建ConfigMap时可以定义文件的键

kubectl create configmap game-config-4 \
    --from-file=game-special-key=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/game.properties
# key 是 "game-special-key"
# value 是 game.properties 文件的内容

通过具体值创建 ConfigMaps

使用 –from-literal 参数定义具体值

1
2
3

kubectl create configmap special-config \
    --from-literal=special.how=very \
    --from-literal=special.type=charm

使用 ConfigMap

定义 pod 环境变量

Pod 环境变量的值来自于单一 ConfigMap

在ConfigMap中定义一个环境变量作为键值对

`1`	`kubectl create configmap special-config --from-literal=special.how=very`

指派ConfigMap中定义的special.how的值给Pod中SPECIAL_LEVEL_KEY环境变量

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","env"]
    env:
    # Define the environment variable
    - name:SPECIAL_LEVEL_KEY
      valueFrom:
        configMapKeyRef:
        # The ConfigMap containing the value you want to assign to SPECIAL_LEVEL_KEY
          name:special-config
          # Specify the key associated with the value
          key:special.how
   restartPolicy:Never

保存Pod规格的变化，Pod将输出SPECIAL_LEVEL_KEY=very

Pod 环境变量的值来自于多个 ConfigMap

创建两个 ConfigMap

---
apiVersion:v1
kind:ConfigMap
metadata:
   name:special-config
   namespace:default
data:
   special.how:very

---
apiVersion:v1
kind:ConfigMap
metadata:
   name:env-config
   namespace:default
data:
   log_level:INFO

在Pod规格中定义环境变量

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","env"]
    env:
    - name:SPECIAL_LEVEL_KEY
      valueFrom:
        configMapKeyRef:
           name:special-config
           key:special.how
     - name:LOG_LEVEL
       valueFrom:
          configMapKeyRef:
              name:env-config
              key:log_level
  restartPolicy:Neverv

保存变更后的Pod，Pod将会输出SPECIAL_LEVEL_KEY=very和LOG_LEVEL=info

在一个ConfigMap中配置的键值对都作为一个Pod的环境变量

Kubernetes v1.6+可用

创建包含多个键-值对的ConfigMap

apiVersion:v1
kind:ConfigMap
metadata:
  name:special-config
  namespace:default
data:
  SPECIAL_LEVEL:very
  SPECIAL_TYPE:charm

使用envFrom定义所有的ConfigMap数据作为Pod的环境变量。来自于Config的键成为Pod中环境变量的名

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","env"]
    envFrom:
    - configMapRef:
        name:special-config
   restartPolicy:Never

Pod的输出包括: SPECIAL_LEVEL=very 和 SPECIAL_TYPE=charm

在Pod命令行中使用ConfigMap定义的环境变量

在Pod规范的command 中使用$(VAR_NAME) ，获取ConfigMap定义的环境变量

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","echo $(SPECIAL_LEVEL_KEY) $(SPECIAL_TYPE_KEY)"]
    env:
    - name:SPECIAL_LEVEL_KEY
      valueFrom:
         configMapKeyRef:
            name:special-config
            key:SPECIAL_LEVEL
    - name:SPECIAL_TYPE_KEY
      valueFrom:
          configMapKeyRef:
            name:special-config
            key:SPECIAL_TYPE
  restartPolicy:Never

test-container容器的输出: very charm

添加ConfigMap数据至存储卷

当通过–from-file创建的ConfigMap时，文件将作为一个键保存在ConfigMap中，而此文件的内容将作为值

apiVersion:v1
kind:ConfigMap
metadata:
  name:special-config
  namespace:default
data:
  special.level:very
  special.type:charm

将ConfigMap中的数据传播到指定目录

在Pod的存储卷区域添加ConfigMap的名称
这将添加ConfigMap数据到volumeMounts.mountPath指定的目录下(此例为/etc/config)

command区域将引用保存在ConfigMap中的special.level条目

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","ls /etc/config/"]
    volumeMounts:
    - name:config-volume
      mountPath:/etc/config
  volumes:
  - name:config-volume
    configMap:
        # Provide the name of the ConfigMap containing the files you want
        # to add to the container
      name:special-config
  restartPolicy:Never

Pod运行时，command (“ls /etc/config/”)将输出: special.level special.type
如果在/etc/config/目录下存在文件，将不会删除

添加ConfigMap数据至存储卷指定的目录

为ConfigMap条目，使用path指定文件路径

此例中，special.level将在config-volume存储卷中被挂接至/etc/config/keys

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","cat /etc/config/keys"]
    volumeMounts:
     - name:config-volume
       mountPath:/etc/config
  volumes:
  - name:config-volume
    configMap:
       name:special-config
       items:
       - key:special.level
         path:keys
  restartPolicy:Never

Pod运行时，(“cat /etc/config/keys”) 将输出: very

参考

Kubernetes-配置字典ConfigMap

CentOS7 安装 Redis 集群

Fri, 29 Nov 2019 15:14:29 +0800

环境

操作系统: CentOS7.9，关闭 firewalld 和 selinux
Redis: 5.0.14
master 实例
- 10.0.4.110:6371
- 10.0.4.110:6372
- 10.0.4.110:6373
slave 实例
- 10.0.4.111:6371
- 10.0.4.111:6372
- 10.0.4.111:6373

编译 redis server

在 CentOS7.9 测试服务器上下载、编译

curl -LO http://download.redis.io/releases/redis-5.0.14.tar.gz
tar zxf redis-5.0.14.tar.gz
cd redis-5.0.14
make

抽取安装文件

mkdir -p /opt/redis/{bin,conf}
cp src/{redis-server,redis-cli,redis-benchmark} /opt/redis/bin/
cd /opt/redis/bin
ln -s redis-server redis-check-aof
ln -s redis-server redis-check-rdb
ln -s redis-server redis-sentinel

创建 /opt/redis/conf/redis-6379.conf，常用配置如下

PXE 网络装机

Fri, 08 Nov 2019 15:52:55 +0800

部署 dhcp 和 tft 服务

安装 dnsmasq

# rhel
yum install dnsmasq
# archlinux
pacman -S dnsmasq

修改配置 /etc/dnsmasq.conf

port=0 # 用不着 dns 功能，可以关闭
dhcp-range=10.0.86.2,10.0.86.9,255.255.255.0,1h
#dhcp-boot=pxelinux.0 # bios 引导(未测试)
dhcp-boot=grubx64.efi # efi 引导
enable-tftp
tftp-root=/var/ftp

在其中一个网卡上配置 ip: 10.0.86.1/24

Postgresql 主从

Mon, 04 Nov 2019 02:09:29 +0800

主库配置

修改 postgresql.conf

listen_address = '*'
wal_level = replica
wax_wal_senders = 10
wal_keep_segments = 64
hot_standby = on

启动主库 postgresql-10 服务
1

systemctl start postgresql-10

创建同步账户

1
2

create user replica superuser password '123456';
-- 这里可以只赋予 replication 权限，后面从库复制初始数据库时使用其他有权限帐号

修改 pg_hba.conf
1

host replication replica samenet md5

从库配置

停止从库 postgresql-10 服务，清空数据库目录

1
2

systemctl stop postgresql-10
rm -rf /var/lib/pgsql/10/data/*

从主库复制初始数据库
1 2 3 4 5 6 7 8

pg_basebackup \ -h <主库ip> \ -U replica \ -F p \ -X stream \ -P -R \ -D /var/lib/pgsql/10/data/ \ -l backup_20191104
- -h 指定连接的数据库的主机名或IP地址
- -U 指定连接的用户名
- -F 指定了输出的格式，支持p（原样输出）或者t（tar格式输出）
- -X 表示备份开始后，启动另一个流复制连接从主库接收WAL日志
- -P 表示允许在备份过程中实时的打印备份的进度
- -R 表示会在备份结束后自动生成recovery.conf文件
- -D 指定备份写入的数据目录,需要与数据库配置的数据库目录一致,初次备份之前从库的数据目录需要手动清空
- -l 表示指定一个备份的标识

检查状态

检查从库进程

1
2

ps -ef|grep postgres
# 可以看到 wal sender 和 receiver process 两个进程

从库为只读模式,无法进行增/删/改操作

主库查看 replication 客户端

`1`	`select client_addr,sync_state from pg_stat_replication;`

Python 的 ConfigParser 模块

Wed, 30 Oct 2019 18:04:09 +0800

样例文件

该类配置文件可以包含一个或多个节（section），每个节可以有多个参数（键=值）。

样例配置文件（/proj/conf/example_conf）

[book]
title:ConfigParser模块教程
author:大头爸爸
email:366500050@qq.com
time:2012-09-20 22:04:55
[size]
size:1024
[other]
blog:csdn.net

上面配置文件中用的是冒号，也可以用等号。

读取配置文件

示例文件: example.py

# -*- coding: utf-8 -*-
import ConfigParser
import string
config=ConfigParser.ConfigParser()
config.read(u'/proj/conf/example_conf')
print string.upper(config.get("book","title")),
print "by",config.get("book","author"),
print "("+config.get("book","email")+")"
print
print config.get("size","size")
print
print config.sections()
for section in config.sections():
    print section
    for option in config.options(section):
        print " ",option,"=",config.get(section,option)

example.py文件执行结果

CONFIGPARSER模块教程 by 大头爸爸 (366500050@qq.com)
1024
  ['book', 'size', 'other']
book
  title = ConfigParser模块教程
  author = 大头爸爸
  email = 366500050@qq.com
  time = 2012-09-20 22:04:55  size
  size = 1024  other
  blog = csdn.n

写入配置文件

示例

import ConfigParser
import sys
config=ConfigParser.ConfigParser()
config.add_section("book")
config.set("book","title","这是标题")
config.set("book","author","大头爸爸")
config.add_section("size")
config.set("size","size",1024)
config.write(sys.stdout)

执行结果

[book]
title = 这是标题
author = 大头爸爸
[size]
size = 1024

ConfigParser方法

创建ConfigParser实例
1

config=ConfigParser.ConfigParser()
返回配置文件中节序列
1

config.sections()

返回某个项目中的所有键的序列

1
2

config=ConfigParser.ConfigParser()
config.options(section)

返回section节中，option的键值

1
2

config=ConfigParser.ConfigParser()
config.get(section,option)

添加一个配置文件节点(str)

1
2

config=ConfigParser.ConfigParser()
config.add_section(str)

设置section节点中，键名为option的值(val)

1
2

config=ConfigParser.ConfigParser()
config.set(section,option,val)

读取配置文件

1
2

config=ConfigParser.ConfigParser()
config.read(filename)

写入配置文件

1
2

config=ConfigParser.ConfigParser()
config.write(obj_file)

综合实例

##coding=utf-8

import ConfigParser

def writeConfig(filename):
    config = ConfigParser.ConfigParser()
    # set db
    section_name = 'db'
    config.add_section( section_name )
    config.set( section_name, 'dbname', 'MySQL')
    config.set( section_name, 'host', '127.0.0.1')
    config.set( section_name, 'port', '80')
    config.set( section_name, 'password', '123456')
    config.set( section_name, 'databasename', 'test')

    # set app
    section_name = 'app'
    config.add_section( section_name )
    config.set( section_name, 'loggerapp', '192.168.20.2')
    config.set( section_name, 'reportapp', '192.168.20.3')

    # write to file
    config.write( open(filename, 'a') )

def updateConfig(filename, section, **keyv):
    config = ConfigParser.ConfigParser()
    config.read(filename)
    print config.sections()
    for section in config.sections():
        print "[",section,"]"
        items = config.items(section)
        for item in items:
            print "\t",item[0]," = ",item[1]
    print config.has_option("dbname", "MySQL")
    print config.set("db", "dbname", "11")
    print "..............."
    for key in keyv:
        print "\t",key," = ", keyv[key]
    config.write( open(filename, 'r+') )

if __name__ == '__main__':
    file_name = 'test.ini'
    writeConfig(file_name)
    updateConfig(file_name, 'app', reportapp = '192.168.100.100')
    print "end__"

Python 的 logging 模块

Wed, 30 Oct 2019 18:03:55 +0800

单输出日志到屏幕

示例

import logging
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')

输出

1
2
3

WARNING:root:warning message
ERROR:root:error message
CRITICAL:root:critical message

默认情况下python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志。
默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET）。
默认的日志格式为日志级别:Logger名称:用户输出消息。

配置日志

示例

import logging
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                    datefmt='%a, %d %b %Y %H:%M:%S',
                    filename='/tmp/test.log',
                    filemode='w')
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')

输出

cat /tmp/test.log
 Mon, 05 May 2014 16:29:53 test_logging.py[line:9] DEBUG debug message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:10] INFO info message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:11] WARNING warning message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:12] ERROR error message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:13] CRITICAL critical message

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，参数解释：
filename：用指定的文件名创建FiledHandler（后边会具体讲解handler的概念），这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。
format参数中可能用到的格式化串：
- %(name)s Logger的名字
- %(levelno)s 数字形式的日志级别
- %(levelname)s 文本形式的日志级别
- %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
- %(filename)s 调用日志输出函数的模块的文件名
- %(module)s 调用日志输出函数的模块名
- %(funcName)s 调用日志输出函数的函数名
- %(lineno)d 调用日志输出函数的语句所在的代码行
- %(created)f 当前时间，用UNIX标准的表示时间的浮点数表示
- %(relativeCreated)d 输出日志信息时的，自Logger创建以来的毫秒数
- %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
- %(thread)d 线程ID。可能没有
- %(threadName)s 线程名。可能没有
- %(process)d 进程ID。可能没有
- %(message)s用户输出的消息

安装 Oracle 需要调整的内核参数

Wed, 30 Oct 2019 17:58:46 +0800

在安装Oracle的时候需要调整linux的内核参数，但是各参数代表什么含义呢，下面做详细解析。

Linux安装文档中给出的最小值：

fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 4294967295
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

各参数详解：

CentOS6 安装 Oracle11g

Wed, 30 Oct 2019 17:56:57 +0800

安装依赖

yum install binutils compat-libstdc++-33 compat-libstdc++-33.i686 \
elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc.i686 \
glibc-common glibc-devel glibc-devel.i686 glibc-headers ksh libaio \
libaio.i686 libaio-devel libaio-devel.i686 libgcc libgcc.i686 libstdc++ \
libstdc++.i686 libstdc++-devel make sysstat unixODBC unixODBC-devel

创建用户和用户组

1
2

groupadd dba oinstall
useradd -g oinstall -m oracle

配置oracle用户环境变量

打开 oracle 用户的的默认shell配置文件 ~/.bashrc，在最后添加以下代码

Python 的 cx_Oracle 模块

Wed, 30 Oct 2019 17:55:41 +0800

导入 cx_Oracle 模块

`1`	`import cx_Oracle # 导入模块`

连接数据库

1
2
3

db = cx_Oracle.connect('user', 'password', 'host:port/SID') #建立连接,3个参数分开写
print db.version
##输出 10.2.0.1.0 测试成功

自动提交

1
2

db.autocommit=True #开启自动提交
db.autocommit=False #关闭自动提交

建立 cursor 光标

`1`	`cursor = db.cursor() #建立一个cursor`

执行sql

cursor.execute(‘select * from tabs’)    # 执行一条sql
sql = "insert into person(name, age, telephone) values(%s, %s, %s)"
tmp = (('ninini', 89, '888999'), ('koko', 900, '999999'))
conn.executemany(sql, tmp) #执行多条sql

获取执行结果

row=cursor.fetchone() #取一行结果，元组(a,b,c,d)
row=cursor.fetchall() #获取所有结果，列表[(a,b,c,d),(e,f,g,h),...]
for x in row:
    For y in x:
        Print y
print cursor.rowcount() #获取输出记录数量

提交

`1`	`db.commit()`

回滚

`1`	`db.rollback()`

关闭连接

1
2

cursor.close()
db.close()

CentOS 安装官方编译的 Mariadb 10.1 二进制通用包

Wed, 30 Oct 2019 17:53:33 +0800

环境

centos 5.4/6.2/6.5/7.2 x86_64

安装

下载官方编译好的 linux 通用安装包，解压之自定义目录（如/opt）下

# rhel 7 地址:
wget https://mirrors.tuna.tsinghua.edu.cn/mariadb//mariadb-10.1.19/bintar-linux-glibc_214-x86_64/mariadb-10.1.19-linux-glibc_214-x86_64.tar.gz
# rhel 5/6 地址:
wget https://mirrors.tuna.tsinghua.edu.cn/mariadb//mariadb-10.1.19/bintar-linux-x86_64/mariadb-10.1.19-linux-x86_64.tar.gz
tar zxf mariadb-10.1.19-linux*-x86_64.tar.gz -C /opt/
cd /opt
mv mariadb-10.1.19-linux* mariadb

Python 的 re 模块

Wed, 30 Oct 2019 17:52:21 +0800

match

定义
1

re.match(pattern, string, flags)
尝试从字符串的开始匹配一个模式
第一个参数是正则表达式，如果匹配成功，则返回一个Match，否则返回一个None；
第二个参数表示要匹配的字符串；
第三个参数是标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

search

定义
1

re.search(pattern, string, flags)
在字符串内查找模式匹配,只到找到第一个匹配然后返回，如果字符串没有匹配，则返回None。
每个参数的含意与re.match一样。

sub

定义
1

re.sub(pattern, repl, string, count)
替换字符串中的匹配项
其中第二个函数是替换后的字符串
第四个参数指替换个数。默认为0，表示每个匹配项都替换。 re.sub还允许使用函数对匹配项的替换进行复杂的处理，如：re.sub(r’\s’, lambda m: ‘[’ + m.group(0) + ‘]’, text, 0)；将字符串中的空格’ ‘替换为’[ ]’。

split

定义
1

re.split(pattern, string)
分割字符串

findall

定义
1

re.findall(pattern, text)
获取字符串中所有匹配的字符串

compile

定义
1

re.compile(pattern)
把正则表达式编译成一个正则表达式对象

示例

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
regex = re.compile(r'\w*oo\w*')
print regex.findall(text)  #查找所有包含'oo'的单词
print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来

Python 的 time 模块

Wed, 30 Oct 2019 17:49:27 +0800

时间戳: 相对1970.1.1 00:00:00计算的秒数
struct_time: year(2015) month(1-12) day(1-31) hours(0-23) minutes(0-59) seconds(0-59) weekday(0-6,Monday is 0) julian day(day in the year,1-366) DST flag(-1,0,1)
time.asctime([tuple]) #把struct_time 转成字符串
time.clock() #第一次调用返回程序运行的实际时间，后面调用返回与第一次调用的时间间隔

Ftp 笔记

Wed, 30 Oct 2019 17:48:02 +0800

环境

CentOS7
vsftpd
关闭 selinux

安装 vsftpd 服务

`1`	`yum install vsftpd`

常用客户端

ftp
lftp
curl

主动模式

建立控制命令连接
- 客户端连接服务端 21 号端口
建立数据传送连接
- 客户端在本地监听一个端口(大于 1024 )，并通过 PORT 命令通知服务端
- 服务端从 20 端口连接客户端正在监听的端口，向客户端发送数据
相关配置

Python 的 optionparser 模块

Wed, 30 Oct 2019 17:46:52 +0800

生成标准的、符合Unix/Posix 规范的命令行说明

from optparse import OptionParser
parser = OptionParser()
parser.add_option('-p', '--pdbk', action = 'store_true', dest = 'pdcl', default = False,
                help = 'write pdbk data to oracle db')
parser.add_option('-z', '--zdbk', action = 'store_true', dest = 'zdcl', default = False,
                help = 'write zdbk data to oracle db')
(options, args) = parser.parse_args()
if options.pdcl == True:
    print 'pdcl is true.'
if options.zdcl == True:
    print 'zdcl is True.'

简单流程

# 引入OptionParser类，创建OptionParser对象
from optparse import OptionParser
parser = OptionParser()
# 定义命令行参数
parser.add_option(opt_str, ..., attr = value, ...)
# 解析命令行参数
(options, args) = parser.parse_args()

parse_args 和 add_options 函数

parse_args() 接收一个命令行列表，默认使用 sys.argv[:-1]

Python 的 os 和 os.path

Wed, 30 Oct 2019 17:45:33 +0800

os.getcwd() #返回运行脚本的目录
os.listdir() #获取目录中的内容
os.path.basename() #去掉目录路径，返回文件名
os.path.dirname() #去掉文件名，返回目录路径
os.path.join() #组合成合法路径
os.path.split() #返回路径和文件名元组
os.path.splitdrive() #返回驱动器符号和路径元组
os.path.splitext() #返回文件名和扩展名元组
os.path.getatime() #返回文件最近的访问时间戳
os.path.getctime() #返回文件的创建时间戳
os.path.getmtime() #返回文件修改时间
os.path.getsize() #返回文件大小（Bytes）
os.path.exists() #指定目录或文件是否存在
os.path.isabs() #指定路径是否为绝对路径
os.path.isdir() #指定路径是否为目录
os.path.isfile() #指定路径是否为文件
os.path.samefile() #指定路径名是否指向同一个文件

Python 调用 Shell 命令

Wed, 30 Oct 2019 17:44:22 +0800

os

阻塞，返回shell执行参数命令的状态,即成功返回0
1

os.system('cat /proc/cpuinfo')
阻塞，返回file read的对象，对该对象进行 read() 可以获取shell执行参数命令的结果，即标准输出
1

os.popen('cat /proc/cpuinfo')

commands

阻塞，返回参数指定的系统文件的详细属性
1

commands.getstatus('/proc/cputinfo')
阻塞，返回shell执行参数命令的结果
1

commands.getoutput('cat /proc/cpuinfo')
阻塞，返回shell状态和shell输出的元组(status, output)
1

commands.getstatusoutput('cat /proc/cpuinfo')

subprocess

阻塞，返回shell状态，禁用 PIPE 参数

`1`	`subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False)`

阻塞，shell 执行成功返回0, 否则无返回，并抛出包含shell错误状态的 CalledProcessError 异常，禁用PIPE参数
1

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False)
阻塞，shell 执行成功返回shell结果，否则无返回，并抛出包含shell错误状态的 CalledProcessError 异常，禁用PIPE参数
1

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False)

Pope

不阻塞，返回Popen对象

subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

subprocess 参数:
- args: 字符串或列表（*nix 下第一项视为命令，后面是命令参数）
- bufsize: 默认 0 不缓冲，1 行缓冲，其他正数表示缓冲大小，负数表示使用系统默认全缓冲
- stdin stdout stderr: subprocess.PIPE 表示管道操作，subprocess.STDOUT 表示输出到标准输出
- preexec_fn: *nix 下子进程被执行前调用
- shell: True 时表示指定命令在shell里解释执行
- subprocess.PIPE: 用于stdin、stdout 和 stderr ，表示创建并写入一个管道
- subprocess.STDOUT: 用于 stderr，表示标准错误重定向到标准输出
Popen 对象属性:
- Popen.poll(): 检查子进程是否结束，0 表示退出
- Popen.wait(): 等待子进程结束，注意子进程是否写管道
- Popen.communicate(input=None): 与子进程交互，字符串数据发送到stdin，并从stdout和stderr读数据，知道EOF，等待子进程结束。注意读写stdin、stdout或stderr时要给定PIPE参数。返回元组(stdoutdata, stderrdata)。
- Popen.send_signal(signal): 给子进程发送信号
- Popen.terminate(): 停止子进程
- Popen.kill(): 杀死子进程
- Popen.stdin Popen.stdout Popen.stderr: PIPE参数时为文件对象，否则None
- Popen.pid: 子进程的进程号
- Popen.returncode None表示子进程没终止，负数-N表示子进程被N号信号终止

Grub 笔记

Wed, 30 Oct 2019 17:39:58 +0800

启动 archlinux 镜像 64位系统

menuentry "Archlinux-ISO-x86-64" --class iso {
  set isofile=""
  set partition=""
  loopback loop (hd0,$partition)$isofile
  linux (loop)/arch/boot/x86_64/vmlinuz archisolabel=ARCH_ISO_X86-64 img_dev=/dev/sda$partition img_loop=$isofile earlymodules=loop
  initrd (loop)/arch/boot/x86_64/archiso.img
}

启动 archlinux 镜像 32位系统

menuentry "Archlinux-ISO-i686" --class iso {
  set isofile=""
  set partition="2"
  loopback loop (hd0,$partition)$isofile
  linux (loop)/arch/boot/i686/vmlinuz archisolabel=ARCH_ISO_I686 img_dev=/dev/sda$partition img_loop=$isofile earlymodules=loop
  initrd (loop)/arch/boot/i686/archiso.img
}

启动 ubuntu 镜像

menuentry "ubuntu-ISO" {
  set isofile=""
  loopback loop (hd0,1)$isofile
  linux (loop)/casper/vmlinuz.efi boot=casper iso-scan/filename=$isofile quiet noeject noprompt splash --
  initrd (loop)/casper/initrd.lz
}

启动安装在第一块硬盘第一个mbr分区的 win7 系统

menuentry "Microsoft Windows Vista/7/8/8.1/10 BIOS-MBR" {
    insmod part_msdos
    insmod ntfs
    insmod search_fs_uuid
    insmod ntldr
    #"9AB0287EB028634D" 是 win7 系统分区的 uuid
    search --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 9AB0287EB028634D
    ntldr /bootmgr
}

启动安装在第一块硬盘的第一个gpt分区的 Win10 EFI

menuentry "Microsoft Windows 10" {
		insmod part_gpt
		insmod fat
		insmod search_fs_uuid
		insmod chain
        #"0007-C871" 是 win10 EFI 分区的 uuid
		search --fs-uuid --set=root --hint-bios=hd0,gpt1 --hint-efi=hd0,gpt1 --hint-baremetal=ahci0,gpt1 0007-C871
		chainloader /EFI/Microsoft/Boot/bootmgfw.efi
}

关机

menuentry "System shutdown" {
	echo "System shutting down..."
	halt
}

重启

menuentry "System restart" {
	echo "System rebooting..."
	reboot
}

UEFI 配置

1
2
3

menuentry "Firmware setup" {
	fwsetup
}

详细使用参考

GRUB-ArchWiki

MySQL 主从复制

Wed, 30 Oct 2019 17:33:13 +0800

环境

mysql 主服务器，centos7.4，192.168.1.10，端口 10000
mysql 从服务器，centos7.4，192.168.1.6
要复制的数据库有 data_db、conf_db

在主服务器上创建用于备份的用户 replicator

1
2

grant replication slave  on *.* to 'replicator'@'192.168.1.6' identified by 'password';
flush privileges;

在主服务器上修改 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 10
read-only = 0

# 开启 binlog
log-bin = /var/log/mysql-bin/master
binlog-format = row
# 关注要复制的数据库，存在跨库问题
binlog-do-db = data-db
binlog-do-db = conf-db
# 忽略的数据库，存在跨库问题
#binlog-ignore-db =
#binlog 有效时间
expire-logs-days =
# GTID 复制模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在主服务器上重启 mysql，获取 master 状态

1
2
3

-- 如果 mysql 是全新安装，则无须导出数据库初态，直接查看 binlog pos 即可
-- 锁定要导出的数据库表
flush tables with read lock;

导出数据库初态

# 在主服务器的另一个终端中运行
mysqldump -uroot -p data_db > /tmp/data_db.sql
mysqldump -uroot -p conf_db > /tmp/conf_db.sql
# 复制到从服务器上
scp /tmp/data_db.sql /tmp/conf_db.sql 192.168.1.6:/tmp/

查看 binary 日志位置

show master status\G
-- 记住输出里的如下类似两行（不记录也可以，这两个信息已经写入了导出的sql文件中）
-- File: mysql-bin.000001
-- Position: 137103822
-- 解锁数据库表
unlock tables;

在从服务器上编辑 my.cnf

# 建议与本机ip地址最后一位一致,与其他互备服务器均不一致
server-id = 6
read-only = 1

# 如果该 slave 中也运行了 master，或者使用了 gtid 模式复制，则开启 binlog
#log-bin = mysql-bin
#binlog-format = row
# 把 slave 操作也计入 binlog，用于链式同步
#log-slave-updates = ON
# 指定要复制的数据库，存在跨库问题
#replicate-do-db = data_db
#replicate-do-db = conf_db
# 指定要复制的数据表，无跨库问题
replicate-do-table = db1.t1
replicate-wild-do-table = db1.%
# 忽略的数据库，存在跨库问题
#replicate-ignore-db =
# 忽略的数据表，无跨库问题
#replicate-ignore-table = db1.t1
#replicate-wild-ignore-table = db1.%
# 中继日志
relay-log = /var/lib/mysql-bin/slave
# 多线程复制
slave-parallel-type = logical-clock
slave-parallel-workers = 4
# GTID 模式
#gtid-mode = ON
#enforce-gtid-consistency=true
# 双主或多主互备时，会用到以下配置
# 自增主键初始值，与其他互备服务器一致
#auto-increment-offset =
# 自增主键等差值，与其他互备服务器均不一致
#auto-increment-increment =

在从服务器上重启 mysql，导入初态

1
2
3

-- 创建要导入的数据库
create database data_db default charset utf8mb4;
create database conf_db default charset utf8mb4;

导入数据库

1
2

msyql -uroot -p data_db < /tmp/data_db.sql
mysql -uroot -p conf_db < /tmp/conf_db.sql

开启同步

-- 基于 binlog 文件位置复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_log_file = 'mysql-bin.000001',
                        master_log_pos = 137103822;
flush privileges;
-- 基于 gtid 复制
change master to master_host = '192.168.1.10',
                        master_port = 3306,
                        master_user = 'replicator',
                        master_password = 'password',
                        master_auto_position = 1;

启动 slave，查看 slave 状态

start slave;
-- 在从服务器上查看 slave 状态
show slave status\G
-- 如果看到
-- Slave_IO_Running: Yes
-- Slave_SQL_Running: Yes
-- 则表示 slave 开启成功！

MySQL8 gtid 互为主从配置

[mysqld]
# ---- 固定配置 ----
datadir = /var/lib/mysql
socket = /var/lib/mysql/mysql.sock
pid-file = /var/lib/mysql/mysql.pid
log-timestamps = SYSTEM
log-error = /var/log/mysql/error.log
slow-query-log = TRUE
slow-query-log-file = /var/log/mysql/slow.log
default-authentication-plugin = mysql_native_password

# ---- 动态配置 ----
mysqlx = OFF
character-set-server = utf8mb4
default-storage-engine = innodb
lower-case-table-names = 1
#skip-name-resolve = 1
#max-user-connections = 600
#innodb-buffer-pool-size = 8G
#innodb-buffer-pool-instances = 8

# master
# 确认不同节点该 id 唯一
server-id = 1
log-bin = /var/lib/mysql-bin/master
binlog-format = ROW
#binlog-do-db = db1
binlog-expire-logs-seconds = 172800
gtid-mode = ON
enforce-gtid-consistency = TRUE

# slave
replicate-wild-ignore-table = information_schema.%
replicate-wild-ignore-table = mysql.%
replicate-wild-ignore-table = performance_schema.%
replicate-wild-ignore-table = sys.%
replica-parallel-workers = 2
log-replica-updates = FALSE
relay-log = /var/lib/mysql-bin/slave
relay-log-recovery = TRUE
#read-only = ON

MySQL8 gtid 多源复制从库配置

修改 my.cnf

Makefile 笔记

Wed, 30 Oct 2019 14:24:58 +0800

Makefile 介绍

介绍

make命令执行时，需要一个 Makefile 文件，以告诉make命令需要怎么样的去编译和链接程序。
首先，我们用一个示例来说明Makefile的书写规则。以便给大家一个感兴认识。这个示例来源于GNU的make使用手册，在这个示例中，我们的工程有8个C文件，和3个头文件，我们要写一个Makefile来告诉make命令如何编译和链接这几个文件。我们的规则是：
- 如果这个工程没有编译过，那么我们的所有C文件都要编译并被链接。
- 如果这个工程的某几个C文件被修改，那么我们只编译被修改的C文件，并链接目标程序。
- 如果这个工程的头文件被改变了，那么我们需要编译引用了这几个头文件的C文件，并链接目标程序。
只要我们的Makefile写得够好，所有的这一切，我们只用一个make命令就可以完成，make命令会自动智能地根据当前的文件修改的情况来确定哪些文件需要重编译，从而自己编译所需要的文件和链接目标程序。

Makefile的规则

在讲述这个Makefile之前，还是让我们先来粗略地看一看Makefile的规则。
1 2 3 4

target... : prerequisites ... command ... ...
- target 也就是一个目标文件，可以是Object File，也可以是执行文件。还可以是一个标签（Label），对于标签这种特性，在后续的"伪目标"章节中会有叙述。
- prerequisites 就是要生成那个target所需要的文件或是目标。
- command 也就是make需要执行的命令（任意的Shell命令）。
这是一个文件的依赖关系，也就是说，target这一个或多个的目标文件依赖于prerequisites中的文件，其生成规则定义在command中。说白一点就是说，prerequisites中如果有一个以上的文件比target文件要新的话，command所定义的命令就会被执行。这就是Makefile的规则。也就是Makefile中最核心的内容。

一个示例

正如前面所说的，如果一个工程有3个头文件，和8个C文件，我们为了完成前面所述的那三个规则，我们的Makefile应该是下面的这个样子的。

edit : main.o kbd.o command.o display.o \
       insert.o search.o files.o utils.o
        cc -o edit main.o kbd.o command.o display.o \
                   insert.o search.o files.o utils.o

main.o : main.c defs.h
        cc -c main.c
kbd.o : kbd.c defs.h command.h
        cc -c kbd.c
command.o : command.c defs.h command.h
        cc -c command.c
display.o : display.c defs.h buffer.h
        cc -c display.c
insert.o : insert.c defs.h buffer.h
        cc -c insert.c
search.o : search.c defs.h buffer.h
        cc -c search.c
files.o : files.c defs.h buffer.h command.h
        cc -c files.c
utils.o : utils.c defs.h
        cc -c utils.c
clean :
        rm edit main.o kbd.o command.o display.o \
           insert.o search.o files.o utils.o

我们可以把这个内容保存在文件为"Makefile"或"makefile"的文件中，然后在该目录下直接输入命令"make"就可以生成执行文件edit。如果要删除执行文件和所有的中间目标文件，那么，只要简单地执行一下"make clean"就可以了。
在这个makefile中，目标文件（target）包含：执行文件edit和中间目标文件（*.o），依赖文件（prerequisites）就是冒号后面的那些 .c 文件和 .h文件。每一个 .o 文件都有一组依赖文件，而这些 .o 文件又是执行文件 edit 的依赖文件。依赖关系的实质上就是说明了目标文件是由哪些文件生成的，换言之，目标文件是哪些文件更新的。
在定义好依赖关系后，后续的那一行定义了如何生成目标文件的操作系统命令，一定要以一个Tab键作为开头。记住，make并不管命令是怎么工作的，他只管执行所定义的命令。make会比较targets文件和prerequisites文件的修改日期，如果prerequisites文件的日期要比targets文件的日期要新，或者target不存在的话，那么，make就会执行后续定义的命令。
这里要说明一点的是，clean不是一个文件，它只不过是一个动作名字，有点像C语言中的lable一样，其冒号后什么也没有，那么，make就不会自动去找文件的依赖性，也就不会自动执行其后所定义的命令。要执行其后的命令，就要在make命令后明显得指出这个lable的名字。这样的方法非常有用，我们可以在一个makefile中定义不用的编译或是和编译无关的命令，比如程序的打包，程序的备份，等等。

make 是如何工作的

在默认的方式下，也就是我们只输入make命令。那么，
- make会在当前目录下找名字叫"Makefile"或"makefile"的文件。
- 如果找到，它会找文件中的第一个目标文件（target），在上面的例子中，他会找到"edit"这个文件，并把这个文件作为最终的目标文件。
- 如果edit文件不存在，或是edit所依赖的后面的 .o 文件的文件修改时间要比edit这个文件新，那么，他就会执行后面所定义的命令来生成edit这个文件。
- 如果edit所依赖的.o文件也存在，那么make会在当前文件中找目标为.o文件的依赖性，如果找到则再根据那一个规则生成.o文件。（这有点像一个堆栈的过程）
- 当然，你的C文件和H文件是存在的啦，于是make会生成 .o 文件，然后再用 .o 文件声明make的终极任务，也就是执行文件edit了。
这就是整个make的依赖性，make会一层又一层地去找文件的依赖关系，直到最终编译出第一个目标文件。在找寻的过程中，如果出现错误，比如最后被依赖的文件找不到，那么make就会直接退出，并报错，而对于所定义的命令的错误，或是编译不成功，make根本不理。make只管文件的依赖性，即，如果在我找了依赖关系之后，冒号后面的文件还是不在，那么对不起，我就不工作啦。
通过上述分析，我们知道，像clean这种，没有被第一个目标文件直接或间接关联，那么它后面所定义的命令将不会被自动执行，不过，我们可以显示要make执行。即命令 “make clean”，以此来清除所有的目标文件，以便重编译。
于是在我们编程中，如果这个工程已被编译过了，当我们修改了其中一个源文件，比如file.c，那么根据我们的依赖性，我们的目标file.o会被重编译（也就是在这个依性关系后面所定义的命令），于是file.o的文件也是最新的啦，于是file.o的文件修改时间要比edit要新，所以edit也会被重新链接了（详见edit目标文件后定义的命令）。而如果我们改变了"command.h"，那么，kdb.o、command.o和files.o都会被重编译，并且，edit会被重链接。

makefile中使用变量

在上面的例子中，先让我们看看edit的规则：

edit : main.o kbd.o command.o display.o \
            insert.o search.o files.o utils.o
      cc -o edit main.o kbd.o command.o display.o \
                 insert.o search.o files.o utils.o

我们可以看到[.o]文件的字符串被重复了两次，如果我们的工程需要加入一个新的[.o]文件，那么我们需要在两个地方加（应该是三个地方，还有一个地方在clean中）。当然，我们的makefile并不复杂，所以在两个地方加也不累，但如果makefile变得复杂，那么我们就有可能会忘掉一个需要加入的地方，而导致编译失败。所以，为了makefile的易维护，在makefile中我们可以使用变量。makefile的变量也就是一个字符串，理解成C语言中的宏可能会更好。

比如，我们声明一个变量，叫objects, OBJECTS, objs, OBJS, obj, 或是 OBJ，反正不管什么啦，只要能够表示obj文件就行了。我们在makefile一开始就这样定义：
1 2

objects = main.o kbd.o command.o display.o \ insert.o search.o files.o utils.o

于是，我们就可以很方便地在我们的makefile中以"$(objects)“的方式来使用这个变量了，于是我们的改良版makefile就变成下面这个样子：

objects = main.o kbd.o command.o display.o \
          insert.osearch.o files.o utils.o
edit : $(objects)
        cc -o edit $(objects)
main.o : main.c defs.h
        cc -c main.c
kbd.o : kbd.c defs.h command.h
        cc -c kbd.c
command.o : command.c defs.h command.h
        cc -c command.c
display.o : display.c defs.h buffer.h
        cc -c display.c
insert.o : insert.c defs.h buffer.h
        cc -c insert.c
search.o : search.c defs.h buffer.h
        cc -c search.c
files.o : files.c defs.h buffer.h command.h
        cc -c files.c
utils.o : utils.c defs.h
        cc -c utils.c
clean :
        rm edit $(objects)

如果有新的 .o 文件加入，我们只需简单地修改一下 objects 变量就可以了。

让make自动推导

GNU的make很强大，它可以自动推导文件以及文件依赖关系后面的命令，于是我们就没必要去在每一个[.o]文件后都写上类似的命令，因为，我们的make会自动识别，并自己推导命令。

只要make看到一个[.o]文件，它就会自动的把[.c]文件加在依赖关系中，如果make找到一个whatever.o，那么whatever.c，就会是whatever.o的依赖文件。并且 cc -c whatever.c 也会被推导出来，于是，我们的makefile再也不用写得这么复杂。我们的是新的makefile又出炉了。

objects = main.o kbd.o command.o display.o \
          insert.o search.o files.o utils.o

edit : $(objects)
        cc -o edit $(objects)

main.o : defs.h
kbd.o : defs.h command.h
command.o : defs.h command.h
display.o : defs.h buffer.h
insert.o : defs.h buffer.h
search.o : defs.h buffer.h
files.o : defs.h buffer.h command.h
utils.o : defs.h

.PHONY : clean
clean :
        rm edit $(objects)

这种方法，也就是make的"隐晦规则”。上面文件内容中，".PHONY"表示，clean是个伪目标文件。

另类风格的makefile

既然我们的make可以自动推导命令，那么我看到那堆[.o]和[.h]的依赖就有点不爽，那么多的重复的[.h]，能不能把其收拢起来，好吧，没有问题，这个对于make来说很容易，谁叫它提供了自动推导命令和文件的功能呢？来看看最新风格的makefile吧。

objects = main.o kbd.o command.o display.o \
          insert.o search.o files.o utils.o

edit : $(objects)
        cc -o edit $(objects)

$(objects) : defs.h
kbd.o command.o files.o : command.h
display.o insert.o search.o files.o : buffer.h

.PHONY : clean
clean :
        rm edit $(objects)

这种风格，让我们的makefile变得很简单，但我们的文件依赖关系就显得有点凌乱了。鱼和熊掌不可兼得。还看你的喜好了

清空目标文件的规则

每个Makefile中都应该写一个清空目标文件（.o和执行文件）的规则，这不仅便于重编译，也很利于保持文件的清洁。这是一个"修养"（呵呵，还记得我的《编程修养》吗）。一般的风格都是：
1 2

clean: rm edit $(objects)

更为稳健的做法是：

1
2
3

.PHONY : clean
clean :
        -rm edit $(objects)

前面说过，.PHONY意思表示clean是一个"伪目标"，而在rm命令前面加了一个小减号的意思就是，也许某些文件出现问题，但不要管，继续做后面的事。当然，clean的规则不要放在文件的开头，不然，这就会变成make的默认目标，相信谁也不愿意这样。不成文的规矩是 “clean从来都是放在文件的最后”。

Makefile 总述

Makefile里有什么？

Makefile里主要包含了五个东西：显式规则、隐晦规则、变量定义、文件指示和注释。
显式规则。显式规则说明了，如何生成一个或多的的目标文件。这是由Makefile的书写者明显指出，要生成的文件，文件的依赖文件，生成的命令。
隐晦规则。由于我们的make有自动推导的功能，所以隐晦的规则可以让我们比较粗糙地简略地书写Makefile，这是由make所支持的。
变量的定义。在Makefile中我们要定义一系列的变量，变量一般都是字符串，这个有点你C语言中的宏，当Makefile被执行时，其中的变量都会被扩展到相应的引用位置上。
文件指示。其包括了三个部分，一个是在一个Makefile中引用另一个Makefile，就像C语言中的include一样；另一个是指根据某些情况指定Makefile中的有效部分，就像C语言中的预编译#if一样；还有就是定义一个多行的命令。有关这一部分的内容，我会在后续的部分中讲述。
注释。Makefile中只有行注释，和UNIX的Shell脚本一样，其注释是用"#“字符，这个就像C/C++中的”//“一样。如果你要在你的Makefile中使用”#“字符，可以用反斜框进行转义，如：”#"。
最后，还值得一提的是，在Makefile中的命令，必须要以[Tab]键开始。

Makefile的文件名

默认的情况下，make命令会在当前目录下按顺序找寻文件名为"GNUmakefile"、“makefile”、“Makefile"的文件，找到了解释这个文件。在这三个文件名中，最好使用"Makefile"这个文件名，因为，这个文件名第一个字符为大写，这样有一种显目的感觉。最好不要用"GNUmakefile”，这个文件是GNU的make识别的。有另外一些make只对全小写的"makefile"文件名敏感，但是基本上来说，大多数的make都支持"makefile"和"Makefile"这两种默认文件名。
当然，你可以使用别的文件名来书写Makefile，比如：“Make.Linux”，“Make.Solaris”，“Make.AIX"等，如果要指定特定的Makefile，你可以使用make的”-f"和"–file"参数，如：make -f Make.Linux或make –file Make.AIX。

引用其它的Makefile

在Makefile使用include关键字可以把别的Makefile包含进来，这很像C语言的#include，被包含的文件会原模原样的放在当前文件的包含位置。include的语法是：
1

include<filename>filename可以是当前操作系统Shell的文件模式（可以保含路径和通配符）
在include前面可以有一些空字符，但是绝不能是[Tab]键开始。include和可以用一个或多个空格隔开。举个例子，你有这样几个Makefile：a.mk、b.mk、c.mk，还有一个文件叫foo.make，以及一个变量$(bar)，其包含了e.mk和f.mk，那么，下面的语句：
1

include foo.make *.mk $(bar)
- 等价于：
1

include foo.make a.mk b.mk c.mk e.mk f.mk
make命令开始时，会把找寻include所指出的其它Makefile，并把其内容安置在当前的位置。就好像C/C++的#include指令一样。如果文件都没有指定绝对路径或是相对路径的话，make会在当前目录下首先寻找，如果当前目录下没有找到，那么，make还会在下面的几个目录下找：
- 如果make执行时，有"-I"或"–include-dir"参数，那么make就会在这个参数所指定的目录下去寻找。
- 如果目录/include（一般是：/usr/local/bin或/usr/include）存在的话，make也会去找。
如果有文件没有找到的话，make会生成一条警告信息，但不会马上出现致命错误。它会继续载入其它的文件，一旦完成makefile的读取，make会再重试这些没有找到，或是不能读取的文件，如果还是不行，make才会出现一条致命信息。如果你想让make不理那些无法读取的文件，而继续执行，你可以在include前加一个减号"-"。如：
1

-include<filename>
其表示，无论include过程中出现什么错误，都不要报错继续执行。和其它版本make兼容的相关命令是sinclude，其作用和这一个是一样的。

环境变量 MAKEFILES

如果你的当前环境中定义了环境变量MAKEFILES，那么，make会把这个变量中的值做一个类似于include的动作。这个变量中的值是其它的Makefile，用空格分隔。只是，它和include不同的是，从这个环境变中引入的Makefile的"目标"不会起作用，如果环境变量中定义的文件发现错误，make也会不理。
但是在这里我还是建议不要使用这个环境变量，因为只要这个变量一被定义，那么当你使用make时，所有的Makefile都会受到它的影响，这绝不是你想看到的。在这里提这个事，只是为了告诉大家，也许有时候你的Makefile出现了怪事，那么你可以看看当前环境中有没有定义这个变量。

make的工作方式

GNU的make工作时的执行步骤入下
- 读入所有的Makefile。
- 读入被include的其它Makefile。
- 初始化文件中的变量。
- 推导隐晦规则，并分析所有规则。
- 为所有的目标文件创建依赖关系链。
- 根据依赖关系，决定哪些目标要重新生成。
- 执行生成命令。
步为第一个阶段，6-7为第二个阶段。第一个阶段中，如果定义的变量被使用了，那么，make会把其展开在使用的位置。但make并不会完全马上展开，make使用的是拖延战术，如果变量出现在依赖关系的规则中，那么仅当这条依赖被决定要使用了，变量才会在其内部展开。
当然，这个工作方式你不一定要清楚，但是知道这个方式你也会对make更为熟悉。有了这个基础，后续部分也就容易看懂了。

Makefile书写规则

规则

规则包含两个部分，一个是依赖关系，一个是生成目标的方法。
在Makefile中，规则的顺序是很重要的，因为，Makefile中只应该有一个最终目标，其它的目标都是被这个目标所连带出来的，所以一定要让make知道你的最终目标是什么。一般来说，定义在Makefile中的目标可能会有很多，但是第一条规则中的目标将被确立为最终的目标。如果第一条规则中的目标有很多个，那么，第一个目标会成为最终的目标。make所完成的也就是这个目标。
好了，还是让我们来看一看如何书写规则。

规则举例

1
2

foo.o: foo.c defs.h       # foo模块
       cc -c -g foo.c

看到这个例子，各位应该不是很陌生了，前面也已说过，foo.o是我们的目标，foo.c和defs.h是目标所依赖的源文件，而只有一个命令"cc -c -g foo.c"（以Tab键开头）。这个规则告诉我们两件事
- 文件的依赖关系，foo.o依赖于foo.c和defs.h的文件，如果foo.c和defs.h的文件日期要比foo.o文件日期要新，或是foo.o不存在，那么依赖关系发生。
- 如果生成（或更新）foo.o文件。也就是那个cc命令，其说明了，如何生成foo.o这个文件。（当然foo.c文件include了defs.h文件）

规则的语法

常规

1
2
3

targets : prerequisites
    command
   ...

或是这样：

1
2
3

targets : prerequisites ; command
    command
    ...

targets 是文件名，以空格分开，可以使用通配符。一般来说，我们的目标基本上是一个文件，但也有可能是多个文件。
command 是命令行，如果其不与"target:prerequisites"在一行，那么，必须以[Tab键]开头，如果和prerequisites在一行，那么可以用分号做为分隔。（见上）
prerequisites 也就是目标所依赖的文件（或依赖目标）。如果其中的某个文件要比目标文件要新，那么，目标就被认为是"过时的"，被认为是需要重生成的。这个在前面已经讲过了。
如果命令太长，你可以使用反斜框（‘\’）作为换行符。make对一行上有多少个字符没有限制。规则告诉make两件事，文件的依赖关系和如何成成目标文件。
一般来说，make会以UNIX的标准Shell，也就是/bin/sh来执行命令。

在规则中使用通配符

如果我们想定义一系列比较类似的文件，我们很自然地就想起使用通配符。make支持三各通配符："*"，"?“和”[…]"。这是和Unix的B-Shell是相同的。
“~~” 波浪号（"~~"）字符在文件名中也有比较特殊的用途。如果是"~/test"，这就表示当前用户的$HOME目录下的test目录。而"~hchen/test"则表示用户hchen的宿主目录下的test目录。（这些都是Unix下的小知识了，make也支持）而在Windows或是MS-DOS下，用户没有宿主目录，那么波浪号所指的目录则根据环境变量"HOME"而定。
“*” 通配符代替了你一系列的文件，如"*.c"表示所以后缀为c的文件。一个需要我们注意的是，如果我们的文件名中有通配符，如："*"，那么可以用转义字符""，如"*“来表示真实的”*“字符，而不是任意长度的字符串。
先来看几个例子
1 2

clean: rm -f *.o
上面这个例子我不不多说了，这是操作系统Shell所支持的通配符。这是在命令中的通配符。
1 2 3

print: *.c lpr -p $? touch print
上面这个例子说明了通配符也可以在我们的规则中，目标print依赖于所有的[.c]文件。其中的”$?“是一个自动化变量，我会在后面给你讲述。
1

objects = *.o
上面这个例子，表示了，通符同样可以用在变量中。并不是说[.o]会展开，不！objects的值就是”.o"。Makefile中的变量其实就是C/C++中的宏。如果你要让通配符在变量中展开，也就是让objects的值是所有[.o]的文件名的集合，那么，你可以这样：
1

objects := $(wildcard *.o)
这种用法由关键字"wildcard"指出，关于Makefile的关键字，我们将在后面讨论。

文件搜寻

在一些大的工程中，有大量的源文件，我们通常的做法是把这许多的源文件分类，并存放在不同的目录中。所以，当make需要去找寻文件的依赖关系时，你可以在文件前加上路径，但最好的方法是把一个路径告诉make，让make在自动去找。
Makefile文件中的特殊变量"VPATH"就是完成这个功能的，如果没有指明这个变量，make只会在当前的目录中去找寻依赖文件和目标文件。如果定义了这个变量，那么，make就会在当当前目录找不到的情况下，到所指定的目录中去找寻文件了。
1

VPATH = src:../headers
上面的的定义指定两个目录，“src"和”../headers"，make会按照这个顺序进行搜索。目录由"冒号"分隔。（当然，当前目录永远是最高优先搜索的地方）
另一个设置文件搜索路径的方法是使用make的"vpath"关键字（注意，它是全小写的），这不是变量，这是一个make的关键字，这和上面提到的那个VPATH变量很类似，但是它更为灵活。它可以指定不同的文件在不同的搜索目录中。这是一个很灵活的功能。它的使用方法有三种：
- vpath # 为符合模式的文件指定搜索目录。
- vpath # 清除符合模式的文件的搜索目录。
- vpath # 清除所有已被设置好了的文件搜索目录。
vapth使用方法中的需要包含"%“字符。”%“的意思是匹配零或若干字符，例如，”%.h"表示所有以".h"结尾的文件。< pattern>指定了要搜索的文件集，而< directories>则指定了的文件集的搜索的目录。例如：
1

vpath %.h ../headers
该语句表示，要求make在"../headers"目录下搜索所有以".h"结尾的文件。（如果某文件在当前目录没有找到的话）
我们可以连续地使用vpath语句，以指定不同搜索策略。如果连续的vpath语句中出现了相同的，或是被重复了的，那么，make会按照vpath语句的先后顺序来执行搜索。如
1 2 3

vpath %.c foo vpath % blish vpath %.c bar
其表示".c"结尾的文件，先在"foo"目录，然后是"blish"，最后是"bar"目录。
1 2

vpath %.c foo:bar vpath % blish
而上面的语句则表示".c"结尾的文件，先在"foo"目录，然后是"bar"目录，最后才是"blish"目录。

伪目标

最早先的一个例子中，我们提到过一个"clean"的目标，这是一个"伪目标"，
1 2

clean: rm *.o temp
正像我们前面例子中的"clean"一样，即然我们生成了许多文件编译文件，我们也应该提供一个清除它们的"目标"以备完整地重编译而用。（以"make clean"来使用该目标）
因为，我们并不生成"clean"这个文件。“伪目标"并不是一个文件，只是一个标签，由于"伪目标"不是文件，所以make无法生成它的依赖关系和决定它是否要执行。我们只有通过显示地指明这个"目标"才能让其生效。当然，“伪目标"的取名不能和文件名重名，不然其就失去了"伪目标"的意义了。
当然，为了避免和文件重名的这种情况，我们可以使用一个特殊的标记”.PHONY"来显示地指明一个目标是"伪目标”，向make说明，不管是否有这个文件，这个目标就是"伪目标"。
1

.PHONY : clean
只要有这个声明，不管是否有"clean"文件，要运行"clean"这个目标，只有"make clean"这样。于是整个过程可以这样写：
1 2 3

.PHONY: clean clean: rm *.o temp

伪目标一般没有依赖的文件。但是，我们也可以为伪目标指定所依赖的文件。伪目标同样可以作为"默认目标"，只要将其放在第一个。一个示例就是，如果你的Makefile需要一口气生成若干个可执行文件，但你只想简单地敲一个make完事，并且，所有的目标文件都写在一个Makefile中，那么你可以使用"伪目标"这个特性：

all : prog1 prog2 prog3
.PHONY : all

prog1 : prog1.o utils.o
       cc -o prog1 prog1.o utils.o

prog2 : prog2.o
       cc -o prog2 prog2.o

prog3 : prog3.o sort.o utils.o
       cc -o prog3 prog3.o sort.o utils.o

我们知道，Makefile中的第一个目标会被作为其默认目标。我们声明了一个"all"的伪目标，其依赖于其它三个目标。由于伪目标的特性是，总是被执行的，所以其依赖的那三个目标就总是不如"all"这个目标新。所以，其它三个目标的规则总是会被决议。也就达到了我们一口气生成多个目标的目的。".PHONY : all"声明了"all"这个目标为"伪目标"。

随便提一句，从上面的例子我们可以看出，目标也可以成为依赖。所以，伪目标同样也可成为依赖。看下面的例子：

.PHONY: cleanall cleanobj cleandiff

cleanall : cleanobj cleandiff
        rm program

cleanobj :
        rm *.o

cleandiff :
        rm *.diff

“makeclean"将清除所有要被清除的文件。“cleanobj"和"cleandiff"这两个伪目标有点像"子程序"的意思。我们可以输入"makecleanall"和"make cleanobj"和"makecleandiff"命令来达到清除不同种类文件的目的

多目标

Makefile的规则中的目标可以不止一个，其支持多目标，有可能我们的多个目标同时依赖于一个文件，并且其生成的命令大体类似。于是我们就能把其合并起来。当然，多个目标的生成规则的执行命令是同一个，这可能会可我们带来麻烦，不过好在我们的可以使用一个自动化变量”$@"（关于自动化变量，将在后面讲述），这个变量表示着目前规则中所有的目标的集合，这样说可能很抽象，还是看一个例子吧。
1 2

bigoutput littleoutput : text.g generate text.g -$(subst output,,$@) > $@
- 上述规则等价于：
1 2 3 4

bigoutput : text.g generate text.g -big > bigoutput littleoutput : text.g generate text.g -little > littleoutput
其中，-$(subst output,,$@)中的”$“表示执行一个Makefile的函数，函数名为subst，后面的为参数。关于函数，将在后面讲述。这里的这个函数是截取字符串的意思，"$@“表示目标的集合，就像一个数组，"$@“依次取出目标，并执于命令。

静态模式

静态模式可以更加容易地定义多目标的规则，可以让我们的规则变得更加的有弹性和灵活。我们还是先来看一下语法：
1 2 3

<targets...>: <target-pattern>: <prereq-patterns ...> 　　　<commands> ...
- targets定义了一系列的目标文件，可以有通配符。是目标的一个集合。
- target-parrtern是指明了targets的模式，也就是的目标集模式。
- prereq-parrterns是目标的依赖模式，它对target-parrtern形成的模式再进行一次依赖目标的定义。
这样描述这三个东西，可能还是没有说清楚，还是举个例子来说明一下吧。如果我们的定义成”%.o”，意思是我们的集合中都是以”.o"结尾的，而如果我们的定义成"%.c"，意思是对所形成的目标集进行二次定义，其计算方法是，取模式中的"%"（也就是去掉了[.o]这个结尾），并为其加上[.c]这个结尾，形成的新集合。
所以，我们的"目标模式"或是"依赖模式"中都应该有"%“这个字符，如果你的文件名中有”%“那么你可以使用反斜杠”"进行转义，来标明真实的"%“字符。看一个例子：
1 2 3 4 5 6

objects = foo.o bar.o all: $(objects) $(objects): %.o: %.c $(CC) -c $(CFLAGS) $< -o $@
上面的例子中，指明了我们的目标从$object中获取，”%.o"表明要所有以".o"结尾的目标，也就是"foo.o bar.o"，也就是变量$object集合的模式，而依赖模式"%.c"则取模式"%.o"的"%"，也就是"foobar"，并为其加下".c"的后缀，于是，我们的依赖目标就是"foo.cbar.c"。而命令中的"$<“和”$@“则是自动化变量，"$<“表示所有的依赖目标集（也就是"foo.c bar.c”），"$@“表示目标集（也褪恰癴oo.o bar.o”）。于是，上面的规则展开后等价于下面的规则：
1 2 3 4

foo.o : foo.c $(CC) -c $(CFLAGS) foo.c -o foo.o bar.o : bar.c $(CC) -c $(CFLAGS) bar.c -o bar.o
试想，如果我们的”%.o"有几百个，那种我们只要用这种很简单的"静态模式规则"就可以写完一堆规则，实在是太有效率了。“静态模式规则"的用法很灵活，如果用得好，那会一个很强大的功能。再看一个例子：
1 2 3 4 5 6

files = foo.elc bar.o lose.o $(filter %.o,$(files)): %.o: %.c $(CC) -c $(CFLAGS) $< -o $@ $(filter %.elc,$(files)): %.elc: %.el emacs -f batch-byte-compile $<
$(filter%.o,$(files))表示调用Makefile的filter函数，过滤”$filter"集，只要其中模式为"%.o"的内容。其的它内容，我就不用多说了吧。这个例字展示了Makefile中更大的弹性。

自动生成依赖性

在Makefile中，我们的依赖关系可能会需要包含一系列的头文件，比如，如果我们的main.c中有一句"#include “defs.h”"，那么我们的依赖关系应该是：
1

main.o : main.c defs.h
但是，如果是一个比较大型的工程，你必需清楚哪些C文件包含了哪些头文件，并且，你在加入或删除头文件时，也需要小心地修改Makefile，这是一个很没有维护性的工作。为了避免这种繁重而又容易出错的事情，我们可以使用C/C++编译的一个功能。大多数的C/C++编译器都支持一个"-M"的选项，即自动找寻源文件中包含的头文件，并生成一个依赖关系。例如，如果我们执行下面的命令：
1

cc -M main.c
- 其输出是：
1

main.o : main.c defs.h

于是由编译器自动生成的依赖关系，这样一来，你就不必再手动书写若干文件的依赖关系，而由编译器自动生成了。需要提醒一句的是，如果你使用GNU的C/C++编译器，你得用"-MM"参数，不然，"-M"参数会把一些标准库的头文件也包含进来。

`1`	`gcc -M main.c`

输出是：

main.o: main.c defs.h /usr/include/stdio.h /usr/include/features.h \
    /usr/include/sys/cdefs.h /usr/include/gnu/stubs.h \
    /usr/lib/gcc-lib/i486-suse-linux/2.95.3/include/stddef.h \
    /usr/include/bits/types.h /usr/include/bits/pthreadtypes.h \
    /usr/include/bits/sched.h /usr/include/libio.h \
    /usr/include/_G_config.h /usr/include/wchar.h \
    /usr/include/bits/wchar.h /usr/include/gconv.h \
    /usr/lib/gcc-lib/i486-suse-linux/2.95.3/include/stdarg.h \
    /usr/include/bits/stdio_lim.h

`1`	`gcc-MM main.c`

输出则是：

`1`	`main.o: main.c defs.h`

那么，编译器的这个功能如何与我们的Makefile联系在一起呢。因为这样一来，我们的Makefile也要根据这些源文件重新生成，让Makefile自已依赖于源文件？这个功能并不现实，不过我们可以有其它手段来迂回地实现这一功能。GNU组织建议把编译器为每一个源文件的自动生成的依赖关系放到一个文件中，为每一个"name.c"的文件都生成一个"name.d"的Makefile文件，[.d]文件中就存放对应[.c]文件的依赖关系。
于是，我们可以写出[.c]文件和[.d]文件的依赖关系，并让make自动更新或自成[.d]文件，并把其包含在我们的主Makefile中，这样，我们就可以自动化地生成每个文件的依赖关系了。

这里，我们给出了一个模式规则来产生[.d]文件：

%.d: %.c
       @set -e; rm -f $@; \
        $(CC) -M $(CPPFLAGS) $< > $@.; \
        sed 's,$*\.o[ :]*,\1.o $@ : ,g' < $@. > $@; \
        rm -f $@.

这个规则的意思是，所有的[.d]文件依赖于[.c]文件，“rm-f $@“的意思是删除所有的目标，也就是[.d]文件，第二行的意思是，为每个依赖文件”$<"，也就是[.c]文件生成依赖文件，"$@“表示模式”%.d"文件，如果有一个C文件是name.c，那么”%“就是"name”，““意为一个随机编号，第二行生成的文件有可能是"name.d.12345”，第三行使用sed命令做了一个替换，关于sed命令的用法请参看相关的使用文档。第四行就是删除临时文件。
总而言之，这个模式要做的事就是在编译器生成的依赖关系中加入[.d]文件的依赖，即把依赖关系：
1

main.o : main.c defs.h
转成：
1

main.o main.d : main.c defs.h
于是，我们的[.d]文件也会自动更新了，并会自动生成了，当然，你还可以在这个[.d]文件中加入的不只是依赖关系，包括生成的命令也可一并加入，让每个[.d]文件都包含一个完赖的规则。一旦我们完成这个工作，接下来，我们就要把这些自动生成的规则放进我们的主Makefile中。我们可以使用Makefile的"include"命令，来引入别的Makefile文件（前面讲过），例如：
1 2

sources = foo.c bar.c include $(sources:.c=.d)
上述语句中的”$(sources:.c=.d)“中的”.c=.d"的意思是做一个替换，把变量$(sources)所有[.c]的字串都替换成[.d]，关于这个"替换"的内容，在后面我会有更为详细的讲述。当然，你得注意次序，因为include是按次来载入文件，最先载入的[.d]文件中的目标会成为默认目标

Makefile 书写命令

命令

每条规则中的命令和操作系统Shell的命令行是一致的。make会一按顺序一条一条的执行命令，每条命令的开头必须以[Tab]键开头，除非，命令是紧跟在依赖规则后面的分号后的。在命令行之间中的空格或是空行会被忽略，但是如果该空格或空行是以Tab键开头的，那么make会认为其是一个空命令。
我们在UNIX下可能会使用不同的Shell，但是make的命令默认是被"/bin/sh" UNIX的标准Shell解释执行的。除非你特别指定一个其它的Shell。Makefile中，"#“是注释符，很像C/C++中的”//"，其后的本行字符都被注释。

显示命令

通常，make会把其要执行的命令行在命令执行前输出到屏幕上。当我们用"@“字符在命令行前，那么，这个命令将不被make显示出来，最具代表性的例子是，我们用这个功能来像屏幕显示一些信息。如：
1

@echo 正在编译XXX模块......
当make执行时，会输出"正在编译XXX模块……“字串，但不会输出命令，如果没有”@"，那么，make将输出：
1 2

echo 正在编译XXX模块...... 正在编译XXX模块......
如果make执行时，带入make参数”-n"或"–just-print"，那么其只是显示命令，但不会执行命令，这个功能很有利于我们调试我们的Makefile，看看我们书写的命令是执行起来是什么样子的或是什么顺序的。
make参数"-s"或"–slient"则是全面禁止命令的显示。

命令执行

当依赖目标新于目标时，也就是当规则的目标需要被更新时，make会一条一条的执行其后的命令。需要注意的是，如果你要让上一条命令的结果应用在下一条命令时，你应该使用分号分隔这两条命令。比如你的第一条命令是cd命令，你希望第二条命令得在cd之后的基础上运行，那么你就不能把这两条命令写在两行上，而应该把这两条命令写在一行上，用分号分隔。如：
1 2 3 4 5 6 7 8

# 示例一： exec: cd /home/hchen pwd # 示例二： exec: cd /home/hchen; pwd
当我们执行"make exec"时，第一个例子中的cd没有作用，pwd会打印出当前的Makefile目录，而第二个例子中，cd就起作用了，pwd会打印出"/home/hchen"。
make 一般是使用环境变量SHELL中所定义的系统Shell来执行命令，默认情况下使用UNIX的标准Shell /bin/sh来执行命令。但在MS-DOS下有点特殊，因为MS-DOS下没有SHELL环境变量，当然你也可以指定。如果你指定了UNIX风格的目录形式，首先，make会在SHELL所指定的路径中找寻命令解释器，如果找不到，其会在当前盘符中的当前目录中寻找，如果再找不到，其会在PATH环境变量中所定义的所有路径中寻找。MS-DOS中，如果你定义的命令解释器没有找到，其会给你的命令解释器加上诸如".exe"、".com"、".bat"、".sh"等后缀。

命令出错

每当命令运行完后，make会检测每个命令的返回码，如果命令返回成功，那么make会执行下一条命令，当规则中所有的命令成功返回后，这个规则就算是成功完成了。如果一个规则中的某个命令出错了（命令退出码非零），那么make就会终止执行当前规则，这将有可能终止所有规则的执行。
有些时候，命令的出错并不表示就是错误的。例如mkdir命令，我们一定需要建立一个目录，如果目录不存在，那么mkdir就成功执行，万事大吉，如果目录存在，那么就出错了。我们之所以使用mkdir的意思就是一定要有这样的一个目录，于是我们就不希望mkdir出错而终止规则的运行。
为了做到这一点，忽略命令的出错，我们可以在Makefile的命令行前加一个减号"-"（在Tab键之后），标记为不管命令出不出错都认为是成功的。如：
1 2

clean: -rm -f *.o
还有一个全局的办法是，给make加上"-i"或是"–ignore-errors"参数，那么，Makefile中所有命令都会忽略错误。而如果一个规则是以".IGNORE"作为目标的，那么这个规则中的所有命令将会忽略错误。这些是不同级别的防止命令出错的方法，你可以根据你的不同喜欢设置。
还有一个要提一下的make的参数的是"-k"或是"–keep-going"，这个参数的意思是，如果某规则中的命令出错了，那么就终目该规则的执行，但继续执行其它规则。

嵌套执行make

在一些大的工程中，我们会把我们不同模块或是不同功能的源文件放在不同的目录中，我们可以在每个目录中都书写一个该目录的Makefile，这有利于让我们的Makefile变得更加地简洁，而不至于把所有的东西全部写在一个Makefile中，这样会很难维护我们的Makefile，这个技术对于我们模块编译和分段编译有着非常大的好处。
例如，我们有一个子目录叫subdir，这个目录下有个Makefile文件，来指明了这个目录下文件的编译规则。那么我们总控的Makefile可以这样书写：
1 2

subsystem: cd subdir && $(MAKE)
- 其等价于：
1 2

subsystem: $(MAKE) -C subdir
定义$(MAKE)宏变量的意思是，也许我们的make需要一些参数，所以定义成一个变量比较利于维护。这两个例子的意思都是先进入"subdir"目录，然后执行make命令。
我们把这个Makefile叫做"总控Makefile"，总控Makefile的变量可以传递到下级的Makefile中（如果你显示的声明），但是不会覆盖下层的Makefile中所定义的变量，除非指定了"-e"参数。
如果你要传递变量到下级Makefile中，那么你可以使用这样的声明：
1

export<variable ...>
如果你不想让某些变量传递到下级Makefile中，那么你可以这样声明：
1

unexport<variable ...>

如：

# 示例一：
export variable = value
# 其等价于：
variable = value
export variable
# 其等价于：
export variable := value
# 其等价于：
variable := value
export variable

# 示例二：
export variable += value
# 其等价于：
variable += value
export variable

如果你要传递所有的变量，那么，只要一个export就行了。后面什么也不用跟，表示传递所有的变量。
需要注意的是，有两个变量，一个是SHELL，一个是MAKEFLAGS，这两个变量不管你是否export，其总是要传递到下层Makefile中，特别是MAKEFILES变量，其中包含了make的参数信息，如果我们执行"总控Makefile"时有make参数或是在上层Makefile中定义了这个变量，那么MAKEFILES变量将会是这些参数，并会传递到下层Makefile中，这是一个系统级的环境变量。
但是make命令中的有几个参数并不往下传递，它们是"-C","-f","-h""-o"和"-W"（有关Makefile参数的细节将在后面说明），如果你不想往下层传递参数，那么，你可以这样来：
1 2

subsystem: cd subdir && $(MAKE) MAKEFLAGS=
如果你定义了环境变量MAKEFLAGS，那么你得确信其中的选项是大家都会用到的，如果其中有"-t","-n",和"-q"参数，那么将会有让你意想不到的结果，或许会让你异常地恐慌。
还有一个在"嵌套执行"中比较有用的参数，"-w"或是"–print-directory"会在make的过程中输出一些信息，让你看到目前的工作目录。比如，如果我们的下级make目录是"/home/hchen/gnu/make"，如果我们使用"make -w"来执行，那么当进入该目录时，我们会看到：
1

make: Entering directory `/home/hchen/gnu/make'.
而在完成下层make后离开目录时，我们会看到：
1

make: Leaving directory `/home/hchen/gnu/make'
当你使用"-C"参数来指定make下层Makefile时，"-w"会被自动打开的。如果参数中有"-s"（"–slient"）或是"–no-print-directory"，那么，"-w"总是失效的。

定义命令包

如果Makefile中出现一些相同命令序列，那么我们可以为这些相同的命令序列定义一个变量。定义这种命令序列的语法以"define"开始，以"endef"结束，如：
1 2 3 4

define run-yacc yacc $(firstword $^) mv y.tab.c $@ endef
这里，“run-yacc"是这个命令包的名字，其不要和Makefile中的变量重名。在"define"和"endef"中的两行就是命令序列。这个命令包中的第一个命令是运行Yacc程序，因为Yacc程序总是生成"y.tab.c"的文件，所以第二行的命令就是把这个文件改改名字。还是把这个命令包放到一个示例中来看看吧。
1 2

foo.c : foo.y $(run-yacc)
我们可以看见，要使用这个命令包，我们就好像使用变量一样。在这个命令包的使用中，命令包"run-yacc"中的”$^“就是"foo.y”，"$@“就是"foo.c”（有关这种以"$“开头的特殊变量，我们会在后面介绍），make在执行命令包时，命令包中的每个命令会被依次独立执行。
在 Makefile中的定义的变量，就像是C/C++语言中的宏一样，他代表了一个文本字串，在Makefile中执行的时候其会自动原模原样地展开在所使用的地方。其与C/C++所不同的是，你可以在Makefile中改变其值。在Makefile中，变量可以使用在"目标”，“依赖目标”，“命令"或是 Makefile的其它部分中。变量的命名字可以包含字符、数字，下划线（可以是数字开头），但不应该含有”:"、"#"、"=“或是空字符（空格、回车等）。变量是大小写敏感的，“foo”、“Foo"和"FOO"是三个不同的变量名。传统的Makefile的变量名是全大写的命名方式，但我推荐使用大小写搭配的变量名，如：MakeFlags。这样可以避免和系统的变量冲突，而发生意外的事情。有一些变量是很奇怪字串，如”$<"、"$@“等，这些是自动化变量。

变量

变量的基础

变量在声明时需要给予初值，而在使用时，需要给在变量名前加上”$“符号，但最好用小括号”（）“或是大括号”{}“把变量给包括起来。如果你要使用真实的”$“字符，那么你需要用”$$“来表示。变量可以使用在许多地方，如规则中的"目标”、“依赖”、“命令"以及新的变量中。

先看一个例子：

objects = program.o foo.o utils.o
program : $(objects)
cc -o program $(objects)

$(objects) : defs.h

变量会在使用它的地方精确地展开，就像C/C++中的宏一样，例如：
1 2 3

foo = c prog.o : prog.$(foo) $(foo)$(foo) -$(foo) prog.$(foo)
展开后得到：
1 2

prog.o : prog.c cc -c prog.c
当然，千万不要在你的Makefile中这样干，这里只是举个例子来表明Makefile中的变量在使用处展开的真实样子。可见其就是一个"替代"的原理。另外，给变量加上括号完全是为了更加安全地使用这个变量，在上面的例子中，如果你不想给变量加上括号，那也可以，但我还是强烈建议你给变量加上括号。

变量中的变量

在定义变量的值时，我们可以使用其它变量来构造变量的值，在Makefile中有两种方式来在用变量定义变量的值。
先看第一种方式，也就是简单的使用”=“号，在”=“左侧是变量，右侧是变量的值，右侧变量的值可以定义在文件的任何一处，也就是说，右侧中的变量不一定非要是已定义好的值，其也可以使用后面定义的值。如：
1 2 3 4 5

foo = $(bar) bar = $(ugh) ugh = Huh? all: echo $(foo)
我们执行"make all"将会打出变量$(foo)的值是"Huh?"（ $(foo)的值是$(bar)，$(bar)的值是$(ugh)，$(ugh)的值是"Huh?"）可见，变量是可以使用后面的变量来定义的。
这个功能有好的地方，也有不好的地方，好的地方是，我们可以把变量的真实值推到后面来定义，如：
1 2

CFLAGS = $(include_dirs) -O include_dirs = -Ifoo -Ibar
当"CFLAGS"在命令中被展开时，会是”-Ifoo -Ibar -O”。但这种形式也有不好的地方，那就是递归定义，如：
1

CFLAGS = $(CFLAGS) -O
或：
1 2

A = $(B) B = $(A)
这会让make陷入无限的变量展开过程中去，当然，我们的make是有能力检测这样的定义，并会报错。还有就是如果在变量中使用函数，那么，这种方式会让我们的make运行时非常慢，更糟糕的是，他会使用得两个make的函数"wildcard"和"shell"发生不可预知的错误。因为你不会知道这两个函数会被调用多少次。
为了避免上面的这种方法，我们可以使用make中的另一种用变量来定义变量的方法。这种方法使用的是":=“操作符，如：
1 2 3

x := foo y := $(x) bar x := later
其等价于：
1 2

y := foo bar x := later
值得一提的是，这种方法，前面的变量不能使用后面的变量，只能使用前面已定义好了的变量。如果是这样：
1 2

y := $(x) bar x := foo
那么，y的值是"bar”，而不是"foo bar"。

上面都是一些比较简单的变量使用了，让我们来看一个复杂的例子，其中包括了make的函数、条件表达式和一个系统变量"MAKELEVEL"的使用：

ifeq (0,${MAKELEVEL})
cur-dir := $(shell pwd)
whoami := $(shell whoami)
host-type := $(shell arch)
MAKE := ${MAKE} host-type=${host-type} whoami=${whoami}
endif

关于条件表达式和函数，我们在后面再说，对于系统变量"MAKELEVEL"，其意思是，如果我们的make有一个嵌套执行的动作（参见前面的"嵌套使用make"），那么，这个变量会记录了我们的当前Makefile的调用层数。
下面再介绍两个定义变量时我们需要知道的，请先看一个例子，如果我们要定义一个变量，其值是一个空格，那么我们可以这样来：
1 2

nullstring := space := $(nullstring) # end of the line
nullstring 是一个Empty变量，其中什么也没有，而我们的space的值是一个空格。因为在操作符的右边是很难描述一个空格的，这里采用的技术很管用，先用一个 Empty变量来标明变量的值开始了，而后面采用"#“注释符来表示变量定义的终止，这样，我们可以定义出其值是一个空格的变量。请注意这里关于”#“的使用，注释符”#“的这种特性值得我们注意，如果我们这样定义一个变量：
1

dir := /foo/bar # directory to put the frobs in
dir这个变量的值是”/foo/bar"，后面还跟了4个空格，如果我们这样使用这样变量来指定别的目录 “$(dir)/file"那么就完蛋了。
还有一个比较有用的操作符是”?="，先看示例：
1

FOO ?= bar
其含义是，如果FOO没有被定义过，那么变量FOO的值就是"bar"，如果FOO先前被定义过，那么这条语将什么也不做，其等价于：
1 2 3

ifeq ($(origin FOO), undefined) FOO = bar endif

变量高级用法

这里介绍两种变量的高级使用方法，第一种是变量值的替换。
我们可以替换变量中的共有的部分，其格式是"$(var:a=b)“或是”${var:a=b}"，其意思是，把变量"var"中所有以"a"字串"结尾"的"a"替换成"b"字串。这里的"结尾"意思是"空格"或是"结束符"。

还是看一个示例吧：

1
2

foo := a.o b.o c.o
bar := $(foo:.o=.c)

这个示例中，我们先定义了一个"$(foo)“变量，而第二行的意思是把”$(foo)“中所有以”.o"字串"结尾"全部替换成".c"，所以我们的"$(bar)“的值就是"a.c b.c c.c”。
另外一种变量替换的技术是以"静态模式"（参见前面章节）定义的，如：
1 2

foo := a.o b.o c.o bar := $(foo:%.o=%.c)
这依赖于被替换字串中的有相同的模式，模式中必须包含一个"%“字符，这个例子同样让$(bar)变量的值为"a.c b.c c.c”。
第二种高级用法是 “把变量的值再当成变量”。先看一个例子：
1 2 3

x = y y = z a := $($(x))
在这个例子中，$(x)的值是"y"，所以$($(x))就是$(y)，于是$(a)的值就是"z"。（注意，是"x=y"，而不是"x=$(y)"）我们还可以使用更多的层次：
1 2 3 4

x = y y = z z = u a := $($($(x)))
这里的$(a)的值是"u"，相关的推导留给读者自己去做吧。
让我们再复杂一点，使用上"在变量定义中使用变量"的第一个方式，来看一个例子：
1 2 3 4

x = $(y) y = z z = Hello a := $($(x))
这里的$($(x))被替换成了$($(y))，因为$(y)值是"z"，所以，最终结果是：a:=$(z)，也就是"Hello"。

再复杂一点，我们再加上函数：

x = variable1
variable2 := Hello
y = $(subst 1,2,$(x))
z = y
a := $($($(z)))

这个例子中，"$($($(z)))“扩展为”$($(y))"，而其再次被扩展为"$($(subst 1,2,$(x)))"。$(x)的值是"variable1"，subst函数把"variable1"中的所有"1"字串替换成"2"字串，于是，“variable1"变成"variable2”，再取其值，所以，最终，$(a)的值就是$(variable2)的值 “Hello”。（喔，好不容易）
在这种方式中，或要可以使用多个变量来组成一个变量的名字，然后再取其值：
1 2 3 4

first_second = Hello a = first b = second all = $($a_$b)
这里的"$a_$b"组成了"first_second"，于是，$(all)的值就是"Hello"。

再来看看结合第一种技术的例子：

1
2
3

a_objects := a.o b.o c.o
1_objects := 1.o 2.o 3.o
sources := $($(a1)_objects:.o=.c)

这个例子中，如果$(a1)的值是"a"的话，那么，$(sources)的值就是"a.c b.c c.c"；如果$(a1)的值是"1"，那么$(sources)的值是"1.c 2.c 3.c"。

再来看一个这种技术和"函数"与"条件语句"一同使用的例子：

ifdef do_sort
func := sort
else
func := strip
endif

bar := a d b g q c

foo := $($(func) $(bar))

这个示例中，如果定义了"do_sort"，那么：foo := $(sort a d b g q c)，于是$(foo)的值就是"a b c d g q"，而如果没有定义"do_sort"，那么：foo := $(sort a d bg q c)，调用的就是strip函数。

当然，“把变量的值再当成变量"这种技术，同样可以用在操作符的左边：

dir = foo
$(dir)_sources := $(wildcard $(dir)/*.c)
define $(dir)_print
lpr $($(dir)_sources)
endef

这个例子中定义了三个变量：“dir”，“foo_sources"和"foo_print”。

追加变量值

我们可以使用”+=“操作符给变量追加值，如：

1
2

objects = main.o foo.o bar.o utils.o
objects += another.o

于是，我们的$(objects)值变成：“main.o foo.o bar.o utils.o another.o”（another.o被追加进去了）

使用”+=“操作符，可以模拟为下面的这种例子：

1
2

objects = main.o foo.o bar.o utils.o
objects := $(objects) another.o

所不同的是，用”+=“更为简洁。
如果变量之前没有定义过，那么，"+=“会自动变成”="，如果前面有变量定义，那么”+=“会继承于前次操作的赋值符。如果前一次的是”:="，那么"+=“会以”:=“作为其赋值符，如：
1 2

variable := value variable += more

等价于：

1
2

variable := value
variable := $(variable) more

但如果是这种情况：
1 2

variable = value variable += more
由于前次的赋值符是”="，所以"+=“也会以”=“来做为赋值，那么岂不会发生变量的递补归定义，这是很不好的，所以make会自动为我们解决这个问题，我们不必担心这个问题。

override 指示符

如果有变量是通常make的命令行参数设置的，那么Makefile中对这个变量的赋值会被忽略。如果你想在Makefile中设置这类参数的值，那么，你可以使用"override"指示符。其语法是：
1 2

override <variable> = <value> override <variable> := <value>
当然，你还可以追加：
1

override <variable> += <more text>
对于多行的变量定义，我们用define指示符，在define指示符前，也同样可以使用ovveride指示符，如：
1 2 3

override define foo bar endef

多行变量

还有一种设置变量值的方法是使用define关键字。使用define关键字设置变量的值可以有换行，这有利于定义一系列的命令（前面我们讲过"命令包"的技术就是利用这个关键字）。
define 指示符后面跟的是变量的名字，而重起一行定义变量的值，定义是以endef关键字结束。其工作方式和”=“操作符一样。变量的值可以包含函数、命令、文字，或是其它变量。因为命令需要以[Tab]键开头，所以如果你用define定义的命令变量中没有以[Tab]键开头，那么make就不会把其认为是命令。

下面的这个示例展示了define的用法：

define two-lines
echo foo
echo $(bar)
endef

环境变量

make 运行时的系统环境变量可以在make开始运行时被载入到Makefile文件中，但是如果Makefile中已定义了这个变量，或是这个变量由make命令行带入，那么系统的环境变量的值将被覆盖。（如果make指定了”-e"参数，那么，系统环境变量将覆盖Makefile中定义的变量）
因此，如果我们在环境变量中设置了"CFLAGS"环境变量，那么我们就可以在所有的Makefile中使用这个变量了。这对于我们使用统一的编译参数有比较大的好处。如果Makefile中定义了CFLAGS，那么则会使用Makefile中的这个变量，如果没有定义则使用系统环境变量的值，一个共性和个性的统一，很像"全局变量"和"局部变量"的特性。当make嵌套调用时（参见前面的"嵌套调用"章节），上层Makefile中定义的变量会以系统环境变量的方式传递到下层的Makefile中。当然，默认情况下，只有通过命令行设置的变量会被传递。而定义在文件中的变量，如果要向下层 Makefile传递，则需要使用exprot关键字来声明。（参见前面章节）
当然，我并不推荐把许多的变量都定义在系统环境中，这样，在我们执行不用的Makefile时，拥有的是同一套系统变量，这可能会带来更多的麻烦。

目标变量

前面我们所讲的在Makefile中定义的变量都是"全局变量"，在整个文件，我们都可以访问这些变量。当然，“自动化变量"除外，如”$<“等这种类量的自动化变量就属于"规则型变量”，这种变量的值依赖于规则的目标和依赖目标的定义。
当然，我样同样可以为某个目标设置局部变量，这种变量被称为"Target-specific Variable"，它可以和"全局变量"同名，因为它的作用范围只在这条规则以及连带规则中，所以其值也只在作用范围内有效。而不会影响规则链以外的全局变量的值。

其语法是：

1
2

<target ...> : <variable-assignment>
<target ...> : overide <variable-assignment>

可以是前面讲过的各种赋值表达式，如"="、":="、"+=“或是”？="。第二个语法是针对于make命令行带入的变量，或是系统环境变量。

这个特性非常的有用，当我们设置了这样一个变量，这个变量会作用到由这个目标所引发的所有的规则中去。如：

prog : CFLAGS = -g
prog : prog.o foo.o bar.o
$(CC) $(CFLAGS) prog.o foo.o bar.o
prog.o : prog.c
$(CC) $(CFLAGS) prog.c

foo.o : foo.c
$(CC) $(CFLAGS) foo.c

bar.o : bar.c
$(CC) $(CFLAGS) bar.c

在这个示例中，不管全局的$(CFLAGS)的值是什么，在prog目标，以及其所引发的所有规则中（prog.o foo.o bar.o的规则），$(CFLAGS)的值都是"-g"

模式变量

在GNU的make中，还支持模式变量（Pattern-specific Variable），通过上面的目标变量中，我们知道，变量可以定义在某个目标上。模式变量的好处就是，我们可以给定一种"模式"，可以把变量定义在符合这种模式的所有目标上。
我们知道，make的"模式"一般是至少含有一个"%“的，所以，我们可以以如下方式给所有以[.o]结尾的目标定义目标变量：
1

%.o : CFLAGS = -O

同样，模式变量的语法和"目标变量"一样：

1
2

<pattern ...> : <variable-assignment>
<pattern ...> : override <variable-assignment>

override同样是针对于系统环境传入的变量，或是make命令行指定的变量。

条件判断

一个例子

下面的例子，判断$(CC)变量是否"gcc”，如果是的话，则使用GNU函数编译目标。

libs_for_gcc = -lgnu
normal_libs =

foo: $(objects)
ifeq ($(CC),gcc)
$(CC) -o foo $(objects) $(libs_for_gcc)
else
$(CC) -o foo $(objects) $(normal_libs)
endif

可见，在上面示例的这个规则中，目标"foo"可以根据变量"$(CC)“值来选取不同的函数库来编译程序。
我们可以从上面的示例中看到三个关键字：ifeq、else和endif。ifeq的意思表示条件语句的开始，并指定一个条件表达式，表达式包含两个参数，以逗号分隔，表达式以圆括号括起。else表示条件表达式为假的情况。endif表示一个条件语句的结束，任何一个条件表达式都应该以endif结束。

当我们的变量$(CC)值是"gcc"时，目标foo的规则是：

1
2

foo: $(objects)
$(CC) -o foo $(objects) $(libs_for_gcc)

而当我们的变量$(CC)值不是"gcc"时（比如"cc”），目标foo的规则是：
1 2

foo: $(objects) $(CC) -o foo $(objects) $(normal_libs)

当然，我们还可以把上面的那个例子写得更简洁一些：

libs_for_gcc = -lgnu
normal_libs =

ifeq ($(CC),gcc)
libs=$(libs_for_gcc)
else
libs=$(normal_libs)
endif

foo: $(objects)
$(CC) -o foo $(objects) $(libs)

语法

条件表达式的语法为：

1
2
3

<conditional-directive>
<text-if-true>
endif

以及：

<conditional-directive>
<text-if-true>
else
<text-if-false>
endif

其中表示条件关键字，如"ifeq"。这个关键字有四个。

第一个是我们前面所见过的"ifeq"

ifeq (<arg1>, <arg2> )
ifeq '<arg1>' '<arg2>'
ifeq "<arg1>" "<arg2>"
ifeq "<arg1>" '<arg2>'
ifeq '<arg1>' "<arg2>"

比较参数"arg1"和"arg2"的值是否相同。当然，参数中我们还可以使用make的函数。如：
1 2 3

ifeq ($(strip $(foo)),) <text-if-empty> endif
这个示例中使用了"strip"函数，如果这个函数的返回值是空（Empty），那么就生效。

第二个条件关键字是"ifneq"。语法是：

ifneq (<arg1>, <arg2> )
ifneq '<arg1>' '<arg2>'
ifneq "<arg1>" "<arg2>"
ifneq "<arg1>" '<arg2>'
ifneq '<arg1>' "<arg2>"

其比较参数"arg1"和"arg2"的值是否相同，如果不同，则为真。和"ifeq"类似。
第三个条件关键字是"ifdef"。语法是：
1

ifdef <variable-name>
如果变量的值非空，那到表达式为真。否则，表达式为假。当然，同样可以是一个函数的返回值。注意，ifdef只是测试一个变量是否有值，其并不会把变量扩展到当前位置。还是来看两个例子：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

示例一： bar = foo = $(bar) ifdef foo frobozz = yes else frobozz = no endif 示例二： foo = ifdef foo frobozz = yes else frobozz = no endif
第一个例子中，"$(frobozz)“值是"yes”，第二个则是"no"。
第四个条件关键字是"ifndef"。其语法是：
1

ifndef <variable-name>
这个我就不多说了，和"ifdef"是相反的意思。
在这一行上，多余的空格是被允许的，但是不能以[Tab]键做为开始（不然就被认为是命令）。而注释符"#“同样也是安全的。“else"和"endif"也一样，只要不是以[Tab]键开始就行了。
特别注意的是，make是在读取Makefile时就计算条件表达式的值，并根据条件表达式的值来选择语句，所以，你最好不要把自动化变量（如”$@“等）放入条件表达式中，因为自动化变量是在运行时才有的。而且，为了避免混乱，make不允许把整个条件语句分成两部分放在不同的文件中。

函数

函数的调用语法

函数调用，很像变量的使用，也是以”$“来标识的，其语法如下：
1

$(<function> <arguments> )
或是
1

${<function> <arguments>}
这里，就是函数名，make支持的函数不多。是函数的参数，参数间以逗号”,“分隔，而函数名和参数之间以"空格"分隔。函数调用以”$“开头，以圆括号或花括号把函数名和参数括起。感觉很像一个变量，是不是？函数中的参数可以使用变量，为了风格的统一，函数和变量的括号最好一样，如使用”$(subst a,b,$(x))“这样的形式，而不是”$(subst a,b,${x})“的形式。因为统一会更清楚，也会减少一些不必要的麻烦。

还是来看一个示例：

comma:= ,
empty:=
space:= $(empty) $(empty)
foo:= a b c
bar:= $(subst $(space),$(comma),$(foo))

在这个示例中，$(comma)的值是一个逗号。$(space)使用了$(empty)定义了一个空格，$(foo)的值是"a b c”，$(bar)的定义用，调用了函数"subst”，这是一个替换函数，这个函数有三个参数，第一个参数是被替换字串，第二个参数是替换字串，第三个参数是替换操作作用的字串。这个函数也就是把$(foo)中的空格替换成逗号，所以$(bar)的值是"a,b,c"。

字符串处理函数

字符串替换函数 subst

功能：把字串<text>中的字符串替换成。
返回：函数返回被替换过后的字符串。
语法：
1

$(subst <from>,<to>,\<text\> )
示例：
1

$(subst ee,EE,feet on the street)，
把"feet on the street"中的"ee"替换成"EE"，返回结果是"fEEt on the strEEt"。

模式字符串替换函数 patsubst

功能：查找<text>中的单词（单词以"空格"、“Tab"或"回车"“换行"分隔）是否符合模式，如果匹配的话，则以替换。这里，可以包括通配符”%"，表示任意长度的字串。如果中也包含”%"，那么，中的这个"%“将是中的那个”%“所代表的字串。（可以用”"来转义，以"%“来表示真实含义的”%“字符）返回：函数返回被替换过后的字符串。

语法：

`1`	`$(patsubst <pattern>,<replacement>,\<text\> )`

示例：
1

$(patsubst %.c,%.o,x.c.c bar.c)
把字串"x.c.c bar.c"符合模式[%.c]的单词替换成[%.o]，返回结果是"x.c.o bar.o”
这和我们前面"变量章节"说过的相关知识有点相似。如：
1

"$(var:<pattern>=<replacement> )"

相当于

`1`	`"$(patsubst <pattern>,<replacement>,$(var))"，`

而
1

"$(var: <suffix>=<replacement> )"

则相当于

`1`	`"$(patsubst %<suffix>,%<replacement>,$(var))"。`

例如有：objects = foo.o bar.o baz.o，那么，"$(objects:.o=.c)“和”$(patsubst %.o,%.c,$(objects))“是一样的。

去空格函数 strip

功能：去掉字串中开头和结尾的空字符。
返回：返回被去掉空格的字符串值。
语法
1

$(strip <string> )
示例：
1

$(strip a b c )
把字串"a b c “去到开头和结尾的空格，结果是"a b c”。

查找字符串函数findstring

功能：在字串中查找字串。
返回：如果找到，那么返回，否则返回空字符串。
语法：
1

$(findstring <find>,<in> )

示例：

1
2

$(findstring a,a b c)
$(findstring a,b c)

第一个函数返回"a"字符串，第二个返回"“字符串（空字符串）

过滤函数 filter

功能：以模式过滤<text>字符串中的单词，保留符合模式的单词。可以有多个模式。
返回：返回符合模式的字串。
语法：
1

$(filter <pattern...>,\<text\> )

示例：

1
2
3

sources := foo.c bar.c baz.s ugh.h
foo: $(sources)
cc $(filter %.c %.s,$(sources)) -o foo

$(filter %.c %.s,$(sources))返回的值是"foo.c bar.c baz.s”。

反过滤函数 filter-out

功能：以模式过滤<text>字符串中的单词，去除符合模式的单词。可以有多个模式。
返回：返回不符合模式的字串。
语法：
1

$(filter-out <pattern...>,\<text\> )

示例： makefile objects=main1.o foo.o main2.o bar.o mains=main1.o main2.o

CentOS7 部署 Mariadb Galera 集群

Wed, 30 Oct 2019 14:01:06 +0800

环境

cpu	mem	hostname	public ip	cluster ip	CentOS	MariaDB
双核	2GB	mariadb_1	10.0.0.231	10.10.10.1	7.5	10.1.33
双核	2GB	mariadb_2	10.0.0.232	10.10.10.2	7.5	10.1.33
双核	2GB	mariadb_3	10.0.0.233	10.10.10.3	7.5	10.1.33

安装数据库

离线安装

下载 rpm
- MariaDB-10.1.33-centos7-x86_64-client.rpm
- MariaDB-10.1.33-centos7-x86_64-common.rpm
- MariaDB-10.1.33-centos7-x86_64-server.rpm
- MariaDB-10.1.33-centos7-x86_64-shared.rpm
- galera-25.3.23-1.rhel7.el7.centos.x86_64.rpm
- jemalloc-3.6.0-1.el7.x86_64.rpm

安装 rpm

1
2

yum erase mariadb-libs
rpm -ivh *.rpm

安装后会自动执行数据库初始化脚本，如果未执行，可手动运行
1

mysql_install_db --user=mysql

yum 安装

创建 MariaDB-10.1 的 yum 源文件(就近选择一个)

Centos6 系统盘迁移

Wed, 30 Oct 2019 13:34:47 +0800

环境

Linux 物理机，已安装 VirtualBox 虚拟机软件
CentOS6.9 live 启动 U 盘
CentOS6.9 iso 镜像文件
待安装笔记本 IBM x32

VirtualBox 创建 Redhat6 虚拟机

VMware 没用过，建议硬件配置尽量和目标设备一致
Thinkpad X32 的处理器只有一核，无 PAE，内存 1024MB
虚拟硬盘 8G 就够了，使用 CentOS6.9 iso 装好虚拟机后，禁用 selinux，可能需要重启生效。

打包操作系统根目录

1
2

cd /
tar cvpzf backup.tgz --exclude=/backup.tgz --one-file-system /

导出 /backup.tgz 文件

返回物理机操作系统，通过 ssh、http 或其他方式把虚拟机的 /backup.tgz 拷贝至物理机中 /root 下

格式化磁盘

取出待安装笔记本的硬盘，通过 USB 或其他方式挂载到该物理机上，fdisk 分区，格式化

#fdisk 分成俩个分区，前面一个大的根分区，后面一个2G的 swap 分区，其他情况自己决定
#假设刚挂载的这个目标磁盘设备是 sdg
mkfs.ext3 /dev/sdg1
mkswap /dev/sdg2

部署操作系统

挂载待部署磁盘的根分区，解压操作系统文件，修改启动相关参数

mount /dev/sdg1 /mnt
tar xvpzf /root/backup.tgz -C /mnt/
#查看目标磁盘根分区的 uuid，替换 /mnt/boot/grub/grub.conf 和 /mnt/etc/fstab 中对应项
ls -lh /dev/disk/by-uuid/|grep sdg1
#查看目标磁盘 swap 分区的uuid，替换 /mnt/etc/fstab 中对应项
ls -lh /dev/disk/by-uuid/|grep sdg2
#检查 /mnt/etc/mtab 中列出的信息是否正确

安装 grub2

取消挂载，把部署好的磁盘安装回待安装笔记本中，插上 CentOS6.9 的启动 U 盘，从 U 盘启动待安装笔记本，进入 live 模式（安装盘可以在安装界面开始时按下 Alt + F1 切换到 live 模式下)，安装 grub2

#在 live 模式下切换到 root
sudo -i
#挂载（假设 live 识别到的硬盘根分区是 /dev/sda1)
mount /dev/sda1 /mnt
#安装 grub2
grub-install --root-directory=/mnt/ /dev/sda
#如果显示 “no error”，即可退出，取消挂载
exit
umount -f /mnt

此时重启就可以正常进入系统了

Docker 笔记

Wed, 30 Oct 2019 13:29:00 +0800

安装 docker

CentOS7 安装 docker-ce

配置 yum 源

curl -Lo /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
#替换成清华源
sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo
yum clean all
yum makecache

安装 docker
1

yum install docker-ce

修改 docker 配置文件，建议选择一个与本地网络不冲突的网段

mkdir -p /etc/docker
cat > /etc/docker/daemon.json <<-EOF
{
  "insecure-registries": ["harbor.colben.cn"],
  "default-address-pools" : [{"base":"10.110.0.0/16", "size": 24}],
  "log-driver": "json-file",
  "log-opts": {"max-size":"100m", "max-file":"4"}
}
EOF

启动 docker

CentOS7 安装 Zabbix3.10

Wed, 30 Oct 2019 13:27:44 +0800

环境

操作系统：CentOS7 (192.168.1.100)
数据库：MariaDB 10.1.26
Web后台：PHP 5.6.31
Web引擎：Nginx 1.12.1
Zabbix：Zabbix 3.0.10
部署方式：单机部署

安装操作系统 CentOS

推荐 RHEL6 及以上的 x64 版本。
这里最小安装 CentOS7 ，外网不可达服务器可能需要配置本地 yum 源。

安装数据库 MariaDB

MariaDB/MySQL 的常见版本。
本地如果已存在可用的 MariaDB/MySQL 数据库，则可跳过此步。
安装方式很多，这里直接用官方编译好的二进制通用包：
CentOS7 下载 mariadb-10.1.26-linux-glibc_214-x86_64.tar.gz
CentOS6 下载 mariadb-10.1.26-linux-x86_64.tar.gz
安装参考我的另一篇博客

安装 PHP

PHP-5.5 及以上版本。

Centos6 安装 nopae 内核

Wed, 30 Oct 2019 13:06:52 +0800

环境

IBM Thinkpad X31
VirtualBox
CentOS-6.9-i386-minimal.iso

需求

手头有台笔记本 IBM thinkpad X31,处理器不支持 pae，不支持 64 位操作系统，要安装一个32位 CentOS6，且内核无 pae 要求。

准备环境

在支持 pae 的计算机上安装 VirtualBox 及其扩展包，以支持 VirtualBox 虚拟机中挂载宿主机 USB 存储。
取出 Thinkpad 笔记本的硬盘，通过移动硬盘盒等方法连接刚刚安装 VirtualBox 的计算机，确保该存储正常识别可用。
下载CentOS-6.9-i386-minimal.iso

VirtualBox 下安装 CentOS6.9 虚拟机

创建 CentOS6.9 x32 虚拟机，这里无需创建虚拟磁盘，后面会把 Thinkpad 笔记本的硬盘挂载到虚拟机中，直接把操作系统安装到该硬盘中。
设置虚拟机，启动 USB 3.0 控制器，增加筛选器，选中刚刚 USB 连接的 Thinkpad 硬盘；网络模式自选，确保虚拟机可上网。
使用刚刚下载好的 CentOS-6.9-i386-minimal.iso 启动 CentOS6.9 虚拟机，如下图
此时查看菜单栏"设备"，会发现 Thinkpad 硬盘已挂载，如下图
选择 “Install or upgrade an existing system” 安装系统，选择安装设备，会看到唯一一个磁盘，如下图
该设备就是通过 USB 挂载的 Thinkpad 磁盘，划分好分区，完成系统安装。

CentOS6.9 虚拟机 Rescue 启动挂载

由于 VirtuaBox 虚拟机尚不支持从 USB 启动，所以在上一步完成系统安装后，重启虚拟机，依旧使用 CentOS-6.9-i386-minimal.iso 启动。
此时从 “Rescue Installed system” 启动，如下图
根据提示选择好语言、键盘，激活网卡，如下图
“OK” 确认，选择网卡，如下图
“OK”，根据自己的网络环境配置上网方式，如下图
“OK”，进入 Rescue 界面，如下图
“Continue”，选择好磁盘，“OK” 确认，提示根分区已挂载至 /mnt/sysimage 下，如下图
“OK”, 进入 Rescue Shell，此时执行
1

chroot /mnt/sysimage/ /bin/bash
至此，通过 VirtualBox 虚拟机成功启动 USB 存储(Thinkpad 硬盘)中的根分区并进入其 Bash 环境。

安装 NONPAE 内核

在刚刚启动的 Bash Shell 中，检查网络
1

ping www.baidu.com

关闭 selinux (可选)

`1`	`sed -i 's/^SELINUX=/cSELINUX=disabled' /etc/selinux/config`

安装 NONPAE 内核

1
2
3

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install kernel-lt-NONPAE

检查系统已安装的内核
1

rpm -qa|grep kernel
发现两个内核，一个是官方的 kernel-2.6，另一个是刚刚安装的 kernel-3.10，kernel-3.10 就是可以在无 pae 处理器上启动的 NONPAE 内核。
退出当前 Chroot Shell 和 Rescure Shell
1 2

exit exit

启动 Thinkpad X31

关闭虚拟机，退出 USB 磁盘，把磁盘装回 Thinkpad X31 笔记本中，开机，选择 3.10 内核即可正常启动。

卸载官方 2.6 内核(推荐)

1
2

yum erase kernel-2.6.32*
yum erase kernel-firemware-2.6.32*

Ovirt 笔记

Wed, 30 Oct 2019 13:04:51 +0800

封装 CentOS6/7 虚拟机

标识 “重新配置”
1

touch /.unconfigured
删除 ssh 主机密钥
1

rm -rf /etc/ssh/ssh_host_*

恢复原始主机名 ”localhost“

#CentOS6
sed -i '/^HOSTNAME/cHOSTNAME=localhost.localdomain' /etc/sysconfig/network
#CentOS7
sed -i '/^HOSTNAME/cHOSTNAME=localhost.localdomain' /etc/hostname

清理 udev
1

rm -rf /etc/udev/rules.d/70-*

删除网卡硬件标识

`1`	`sed -i -e '/HWADDR/d' -e '/UUID/d' /etc/sysconfig/network-scripts/ifcfg-{eth,enp}*`

清空日志
1

rm -rf /var/log/*
关闭虚拟机
1

poweroff

解锁 admin 用户

查看状态
1

ovirt-aaa-jdbc-tool user show admin

解锁

`1`	`ovirt-aaa-jdbc-tool user unlock admin`

创建本地 yum 源

安装工具
1

yum install yum-utils createrepo
解压 rpm 包(无用，仅作记录)
1

rpm2cpio {filename}.rpm | cpio -ivd
下载 ovirt.repo，保存到本地服务器的 /etc/yum.repos.d/ 下
下载 RPM-GPG-ovirt-4.1，保存到本地服务器的 /etc/pki/rpm-gpg/ 下

在该服务器上，执行以下命令:

1
2
3

yum clean all
yum makecache fast
yum repolist #此时能看到新增加的 ovirt.repo 文件中的 yum 源

同步 yum repo 到本地

mkdir /DATA/yum && cd /DATA/yum
reposync -nld \
    --repoid=ovirt-4.1 \
    --repoid=ovirt-4.1-epel \
    --repoid=ovirt-centos7 \
    --repoid=centos-opstools-release \
    --repoid=patternfly-patternfly1

创建本地 yum repo

createrepo --update ovirt-4.1
createrepo --update ovirt-4.1-epel
createrepo --update ovirt-centos7
createrepo --update centos-opstools-release
createrepo --update patternfly-patternfly1

nginx.conf 配置

server {
    listen       1080 default_server;
    listen       [::]:1080 default_server;
    server_name  _;
    root         /DATA/yum;
    location / {
        autoindex on;
        autoindex_exact_size off;
        autoindex_localtime on;
    }
}

Firewalld 笔记

Wed, 30 Oct 2019 13:01:37 +0800

区域(zone)

查看支持的 zone

`1`	`firewall-cmd --get-zones [--permanent]`

zone 定义
- 丢弃(drop) 任何接收的网络数据包都被丢弃，没有任何回复。仅能有发送出去的网络连接。
- 限制(block) 任何接收的网络连接都被 IPv4 的 icmp-host-prohibited 信息和 IPv6 的 icmp6-adm-prohibited 信息所拒绝。
- 公共(public) 在公共区域内使用，不能相信网络内的其他计算机不会对您的计算机造成危害，只能接收经过选取的连接。
- 外部(external) 特别是为路由器启用了伪装功能的外部网。您不能信任来自网络的其他计算，不能相信它们不会对您的计算机造成危害，只能接收经过选择的连接。
- 非军事区(dmz) 用于您的非军事区内的电脑，此区域内可公开访问，可以有限地进入您的内部网络，仅仅接收经过选择的连接。
- 工作(work) 用于工作区。您可以基本相信网络内的其他电脑不会危害您的电脑。仅仅接收经过选择的连接。
- 家庭(home) 用于家庭网络。您可以基本信任网络内的其他计算机不会危害您的计算机。仅仅接收经过选择的连接。
- 内部(internal) 用于内部网络。您可以基本上信任网络内的其他计算机不会威胁您的计算机。仅仅接受经过选择的连接。
- 信任(trusted) 可接受所有的网络连接。
指定其中一个区域为默认区域是可行的。当接口连接加入了 NetworkManager，它们就被分配为默认区域。安装时，firewalld 里的默认区域被设定为公共区域。
判断请求使用的 zone
- source，源地址，优先级最高
- interface，接收请求的网卡
- 默认 zone，优先级最低
查看默认的 zone
1

firewall-cmd --get-default-zone

设置默认的 zone

`1`	`firewall-cmd --set-default-zone=public`

查看活动的 zone
1

firewall-cmd --get-active-zones

查看指定 zone 下的规则

`1`	`firewall-cmd [--zone=<zone>] --list-all`

源地址(source)

列出指定zone的所有绑定的source地址

`1`	`firewall-cmd [--permanent] [--zone=zone] --list-sources`

查询指定zone是否跟指定source地址进行了绑定

`1`	`firewall-cmd [--permanent] [--zone=zone] --query-source=ip[/mask]`

用于将一个source地址绑定到指定的zone（只可绑定一次，第二次绑定到不同的zone会报错）
1

firewall-cmd [--permanent] [--zone=zone] --add-source=ip[/mask]
改变source地址所绑定的zone，如果原来没有绑定则进行绑定
1

firewall-cmd [--permanent] [--zone=zone] --change-source=ip[/mask]

删除source地址跟zone的绑定

`1`	`firewall-cmd [--permanent] [--zone=zone] --remove-source=ip[/mask]`

网卡(interface)

获取网卡所在的 zone

`1`	`firewall-cmd --get-zone-of-interface=<interface>`

增加网卡到 zone

`1`	`firewall-cmd [--zone=<zone>] --add-interface=<interface>`

修改网卡到 zone

`1`	`firewall-cmd [--zone=<zone>] --change-interface=<interface>`

从 zone 中删除网卡

`1`	`firewall-cmd [--zone=<zone>] --remove-interface=<interface>`

查看 zone 中是否包含某网卡

`1`	`firewall-cmd [--zone=<zone>] --query-interface=<interface>`

target

默认可以取四个值: default、ACCEPT、%%REJECT%%、DROP

查看 taget

`1`	`firewall-cmd --permanent [--zone=zone] --get-target`

设置 target

`1`	`firewall-cmd --permanent [--zone=zone] --set-target=target`

必须使用参数 –permanent，而且使用 firewall-cmd 命令不能直接生效，需 reload

服务(service)

查看支持的 service

`1`	`firewall-cmd --get-services [--permanent]`

查看 zone 启动的 service

`1`	`firewall-cmd [--zone=<zone>] --list-services`

在 zone 中启动 service

1
2

firewall-cmd [--zone=<zone>] --add-service=<service> \
    [ --permanent | --timeout=<seconds> ]

禁用 zone 中的 service

`1`	`firewall-cmd [--zone=<zone>] --remove-service=<service> [--permanent]`

查看 zone 中是否启动 service

`1`	`firewall-cmd [--zone=<zone>] --query-service=<service>`

端口和协议组合

查看配置的全部端口规则

`1`	`firewall-cmd [--permanent] [--zone=zone] --list-ports`

启动 zone 中指定协议的端口

1
2

firewall-cmd [--zone=<zone>] --add-port=<port>[-<port>]/<protocol> \
    [ --permanent | --timeout=<seconds> ]

禁用 zone 中指定协议的端口

`1`	`firewall-cmd [--zone=<zone>] --remove-port=<port>[-<port>]/<protocol> [--permanent]`

查看 zone 中指定协议的端口

`1`	`firewall-cmd [--zone=<zone>] --query-port=<port>[-<port>]/<protocol> [--permanent]`

ICMP

查看支持的 icmp 类型

`1`	`firewall-cmd --get-icmptypes [--permanent]`

查看全部 icmp 阻塞规则

`1`	`firewall-cmd [--permanent] [--zone=zone] --list-icmp-blocks`

启动 zone 中的 icmp 阻塞

1
2

firewall-cmd [--zone=<zone>] --add-icmp-block=<icmptype> \
    [ --permanent | --timeout=seconds ]

禁用 zone 中的 icmp 阻塞

`1`	`firewall-cmd [--zone=<zone>] --remove-icmp-block=<icmptype> [--permanent]`

查询 zone 的 icmp 阻塞

`1`	`firewall-cmd [--zone=<zone>] --query-icmp-block=<icmptype> [--permanent]`

IPV4 源地址转换

启动 zone 中 ipv4 源地址转换

1
2

firewall-cmd [--zone=<zone>] --add-masquerade \
    [ --permanent | --timeout=seconds ]

禁用 zone 中 ipv4 源地址转换

`1`	`firewall-cmd [--zone=<zone>] --remove-masquerade [--permanent]`

查看 zone 中 ipv4 源地址转换

`1`	`firewall-cmd [--zone=<zone>] --query-masquerade [--permanent]`

端口转发

查看全部端口转发规则

`1`	`firewall-cmd [--permanent] [--zone=zone] --list-forward-ports`

启动 zone 中端口转发

1
2
3

firewall-cmd [--zone=<zone>] --add-forward-port=port=<port>[-<port>]:proto=<protocol> \
    { :toport=<port>[-<port>] | :toaddr=<address> | :toport=<port>[-<port>]:toaddr=<address> } \
[ --permanent | --timeout=seconds ]

禁用 zone 中端口转发

1
2
3

firewall-cmd [--zone=<zone>] --remove-forward-port=port=<port>[-<port>]:proto=<protocol> \
    { :toport=<port>[-<port>] | :toaddr=<address> | :toport=<port>[-<port>]:toaddr=<address> } \
[--permanent]

查看 zone 中端口转发

1
2
3

firewall-cmd [--zone=<zone>] --query-forward-port=port=<port>[-<port>]:proto=<protocol> \
    { :toport=<port>[-<port>] | :toaddr=<address> | :toport=<port>[-<port>]:toaddr=<address> } \
[--permanent]

Rich Rules

通用结构

firewall-cmd [--zone=<zone>] [ --permanent | --timeout=seconds ] \
    <--add|--remove>-rich-rule='rule [family=<ipv4|ipv6> \
    source address=<address[/mask]> [invert=<True|False>] \
    destination address=<address[/mask]> [invert=<True|False>] \
    service name=<service> \
    port port=<port>[-<port>] \
    protocol=<protocol> \
    icmp-block name=<icmptype> \
    masquerade \
    forward-port port=<port>[-<port>] protocol=<protocol> to-port=<port>[-<port>] to-address=<address> \
    log [prefix=<prefix text>] [level=<log level>] [limit value=<rate/duration>] \
    accept|reject [type=<reject type>]|drop'

查看全部 rich rule

`1`	`firewall-cmd [--permanent] [--zone=zone] --list-rich-rules`

具体参数解释见系统 man 手册
1

man firewalld.richlanguage 5

应急模式(panic)

启动 panic，即断网
1

firewall-cmd --panic-on
关闭 panic，即联网
1

firewall-cmd --panic-off
查询应急模式
1

firewall-cmd --query-panic

重新载入(reload)

重新载入防火墙，不中断用户连接
1

firewall-cmd --reload
重新载入防火墙并中断用户连接
1

firewall-cmd --complete-reload

备注

参数 –timeout 是让规则生效一段时间，过期自动删除，不能与 –permanent 一起使用

安装 MySQL

Wed, 30 Oct 2019 13:00:37 +0800

CentOS7 yum 安装 MySQL5.7

环境

CentOS 7.4 x86_64 最小安装
MySQL 5.7.20

安装 mysql yum 源

下载 rpm 包

1
2
3

# repo 地址: https://repo.mysql.com/
cd /root/
curl -O https://repo.mysql.com/mysql57-community-release-el7.rpm

安装 mysql 源

`1`	`rpm -ivh /root/mysql57-community-release-el7.rpm`

更新 yum 缓存
1 2

yum clean all yum makecache fast

安装 mysql

yum 安装 mysql 包
1

yum install mysql-community-server
启动 mysql

Lvs 笔记

Wed, 30 Oct 2019 12:55:50 +0800

环境

角色	地址
负载分配服务器	192.168.1.209
tomcat 服务器1	192.168.1.207
tomcat 服务器2	192.168.1.208
VIP	192.168.1.250

LVS-DR

配置负载分配服务器(192.168.1.209)

#在与 tomcat 服务器连通的网卡(eth0)上配置虚拟 IP(192.168.1.250)
ip addr add 192.168.1.250/32 brd 192.168.1.250 dev eth0
ip route add 192.168.1.250 dev eth0
#开启转发
echo 1 > /proc/sys/net/ipv4/ip_forward
#安装 ipvsadm
yum install ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.1.250:80 -s rr
ipvsadm -a -t 192.168.1.250:80 -r 192.168.1.207:80 -g
ipvsadm -a -t 192.168.1.250:80 -r 192.168.1.208:80 -g

在两台 tomcat 服务器上都做如下配置

#禁用 arp 响应
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
#添加虚拟 IP
ip addr add 192.168.1.250/32 brd 192.168.1.250 dev lo
ip route add 192.168.1.250 dev lo
#在个人浏览器中访问 http://192.168.1.250/webapp/

Yum 笔记

Wed, 30 Oct 2019 12:49:22 +0800

CentOS 配置本地 ISO 镜像源

上传 iso 文件

上传 CentOS7 的 DVD iso 镜像文件到目标服务器，例如 /home/centos7.4.iso

挂载 iso 文件

挂载该 iso 文件到操作系统的一个空目录中，例如 /mnt/ 下
1

mount -o loop /home/centos7.4.iso /mnt/

修改软件源文件

备份全部的 .repo 文件

Oracle 基础

Wed, 30 Oct 2019 11:55:46 +0800

字符型

类型	大小	描述
varchar2	0~4000	可变长度字符串
nvarchar2	0~1000	Unicode字符串的可变长字符型数据
char	0~2000	定长字符型数据
nchar	0~1000	Unicode字符集定长字符型数据
long	0~2GB	变长字符串

数字型

类型	进制	描述
number(p,s)	十进制	p最大精度38位，s小数位数
float	二进制	126位整数

日期

类型	大小	描述
date	公元前4712-1-1~9999-12-31	存储日期和时间
timestamp	公元前4712-1-1~9999-12-31	精确到小数秒，显示上下午

其他数据类型

类型	大小	描述
blob	4GB	二进制
clob	4GB	字符串
bfile	视操作系统	存储非结构化数据到数据库外的文件中

创建表

CREATE TABLE table_name
(
column_name datatype [NULL|NOT NULL],
...,
PRIMARY KEY(),
CONSTRAINT table_name constraint_name FOREIGN KEY (column_name) REFERENCE table_name(column_name) ON DELETE CASCADE,
CONSTRAINT constraint_name CHECK(condition),
CONSTRAINT constraint_name UNIQUE(column_name)
)
|AS SELECT column_name1,column_name2,...FROM source_table;
DROP TABLE table_name;

删除表

DROP TABLE table_name;
# 执行最快，删除数据、结构、索引、约束、触发器和索引，存储过程和索引invalid状态，直接生效，不可回滚，不释放空间
TRUNCATE TABLE table_name;
# 执行较快，只删除数据，直接生效，不可回滚，释放空间
DELETE FROM table_name [WHERE condition];
# 执行最慢，只删除数据，commit 后生效，可回滚，不释放空间

操作表列

ALTER TABLE table_name
ADD column_name datatype [NULL|NOT NULL]
|MODIFY column_name new_datatype|NULL|NOT NULL
|DROP COLUMN column_name;
-- 删除列时通常追加 CASCADE CONSTRAINTS ，以删除于该列有关的约束

操作主键

1
2
3

ALTER TABLE table_name
ADD CONSTRAINTS constraint_name PRIMARY KEY(column_name)
|DROP CONSTRAINTS constraint_name;

操作外键

1
2
3

ALTER TABLE table_name
ADD CONSTRAINT constraint_name FOREIGN KEY(column_name) REFERENCE table_name(column_name) ON DELETE CASCADE
|DROP CONSTRAINT constraint_name;

操作CHECK约束

1
2
3

ALTER TABLE table_name
ADD CONSTRAINT constraint_name CHECK(condition)
|DROP CONSTRAINT constraint_name;

操作UNIQUE约束

1
2
3

ALTER TABLE table_name
ADD CONSTRAINT constraint_name UNIQUE(column_name)
|DROP CONSTRAINT constraint_name;

添加数据

1
2
3

INSERT INTO table_name(column_name1,column_name2,...)
VALUES(data1,data2,...)
|SELECT column_name1,column_name2...FROM table_name2;

修改数据

`1`	`UPDATE table_name SET column_name1=data1,column_name2=data2,...[WHERE condition];`

删除数据

1
2

DELETE FROM table_name [WHERE condition];
TRUNCATE TABLE table_name;

查询数据

`1`	`SELECT column_name1,column_name2,...FROM table_name [WHERE condition];`

MERGE语句

`1`	`MERGE INTO table_name1 USING table_name2 ON(condition) WHEN MATCHED THEN ... WHEN NOT MATCHED THEN ...;`

SELECT 语句

`1`	`SELECT [DISTINCT\|ALL] select_list FROM table_list [WHERE ...] [GROUP BY ...] [HAVING ...] [ORDER BY ...];`

select_list

`1`	`\|[schema.] {table\|view} .\|expr[ [AS ]c_alias]`

expr

`1`	`"\|\|" 连接的字符串 \| 函数`

ORDER BY …

`1`	`{expr\|positon\|c_alias} {ASC\|DESC} {NULLS FIRST\|NULLS LAST}[ {expr\|positon\|c_alias} {ASC\|DESC} {NULLS FIRST\|NULLS LAST},...]`

模糊查询关键字like

`1`	`'_'替代一个字符，'%'替代多个字符`

从给定值中选取查询

`1`	`IN(data1,data2,...)`

连接

-- 连接，只能查询匹配记录
SELECT select_list FROM table_name1 INNER JOIN table_name2 ON condition;
-- 左外连接
SELECT select_list FROM table_name1 LEFT JOIN table_name2 ON condition;
-- 右外连接
SELECT select_list FROM table_name1 RIGHT JOIN table_name2 ON condition;
-- 全外连接
SELECT select_list FROM table_name1 FULL JOIN table_name2 ON condition;

内置函数

ABS(n)    -- n绝对值
MOD(n2,n1)    -- n2对n1取余
SIGN(n)    -- n的符号
CEIL(n)    -- 大于等于n的最小整数
FLOOR(n)    -- 小于等于n的最大整数
SQRT(n)    -- n的平方根
POWER(n2,n1)    -- n2的n1次幂
EXP(n)    -- e的n次幂
LOG(n1,n2)    -- n1为底n2的对数
LN(n)    -- n的自然对数
ROUND(n2,n1)    -- n2小数部分四舍五入至n1位
TRUNC(n2,n1)    -- n2截取至n1位
CHR(n)    -- 把n根据ASCII转换成字符
ASCII(char)    -- 参数首字母的ASCII值
LENGTH(char)    -- 字符串长度
SUBSTR(char,position[,substring_length])    -- 截取字符串
CONCAT(char1,char2)    -- 连接字符串
INSTR(string,substring[,position[,occurrence]])    -- 查找字符串
UPPER(char)    -- 转换成大写
LOWER(char)    -- 转换成小些
INITCAP(char)    -- 单词首字母大写
NLSSORT(char[,nslparam])    -- 按指定方式排序'NLS_SORT=SCHINESE_PINYIN_M'
REPLACE(char,search_string[,replacement_string])    -- 字符串替换，默认删除
RPAD(expr1,n[,expr2])    -- 用expr2右填充expr1至长度为n，默认空格
LPAD(expr1,n[,expr2])    -- 用expr2左填充expr1至长度为n，默认空格
TRIM([LEADING|TRAILING|BOTH] [trim_character FROM] trim_source)    -- 删除字符串首尾指定字符
SYSDATE    -- 获取系统当前日期
SYSTIMESTAMP    -- 获取系统当前时间
DBTIMEZONE    -- 获取数据库当前时区
ADD_MONTHS(date,integer)    -- 指定日期增加指定月份数
SESSIONTIMEZONE    -- 获取当前会话的时区
LAST_DAY(date)    -- 获取指定日期对应月份的最后一天
NEXT_DAY(date,char)    -- 获取下周char的日期
CURRENT_DATE    -- 获取会话时区的当前日期
EXTRACT(datetime)    -- 从指定时间中获取指定部分
MONTHS_BETWEEN(date1,date2)    -- 获取两个时间之间的月份数
NET_TIME(date,timezone1,timezone2)    -- 获取时区1中的时间转换到时区2后的时间
TO_CHAR(n[,fmt])    -- 转换为字符类型
TO_DATE(n[,fmt])    -- 转换为时间类型
TO_NUMBER(n[,fmt])    -- 转换为数字类型
LNNVL(condition)    -- 排除指定条件函数
NVL(expr1,expr2)    -- expr1为空时返回expr2
NVL2(expr1,expr2,expr3)    -- expr1为空时返回expr3，不为空返回expr2
AVG([DISTINCT|ALL ]expr)    -- 获取平均值
COUNT(*|[DISTINCT|ALL ]expr)    -- 获取数量
SUM([DISTINCT|ALL ]expr)    -- 获取和
SELECT USER FROM DUAL;    -- 返回当前会话的登录名
USERENV(param)    -- 返回当前会话的信息
SYS_CONTEXT(namespace,param)    -- 返回oracle已创建的context
DECODE(expr,search,result[,search1,result1...])    -- expr结果是search返回result

查看所有默认表空间

`1`	`SELECT TABLESPACE_NAME FROM DBA_TABLESPACES;`

查看指定用户默认表空间

`1`	`SELECT DEFAULT_STAPCE,USERNAME FROM DBA_USERS WHERE USERNAME='username';`

创建表空间

CREATE TABLESPACE tablespace_name
DATAFILE filename
SIZE size
[AUTOEXTEND [ON NEXT size|OFF]]
[MAXSIZE size]
[PERMANENT|TEMPORARY]     永久/临时表空间，默认永久
[EXTENT MANAGEMENT [DICTIONARY|LOCAL     字典/本地管理方式，默认本地
[AUTOALLOCATE|UNIFORM. [SIZE integer[K|M]]]];

重命名表空间

`1`	`ALTER TABLESPACE oldname RENAME TO newname;`

修改表空间大小

`1`	`ALTER DATABASE DATAFILE filename RESIZE size;`

增加表空间大小

`1`	`ALTER TABLESPACE tablespace_name ADD DATAFILE filename SIZE size;`

设置表空间读写状态

`1`	`ALTER TABLESPACE tablespace_name READ {ONLY\|WRITE};`

设置表空间可用状态

`1`	`ALTER TABLESPACE tablespace_name {ONLINE\|OFFLINE [NORMAL\|TEMPORARY\|IMMEDIATE]};`

创建大文件表空间

`1`	`CREATE BIGFILE TABLESPACE tablespace_name DATAFILE filename SIZE size;`

删除表空间

1
2
3

DROP TABLESPACE tablespace_name
[INCLUDING CONTENTS AND DATAFILES]     数据文件删除
[CASCADE CONSTRAINTS];    完整性删除

查看表空间大小

`1`	`SELECT TABLESPACE_NAME,FILE_NAME,BYTES FROM DBA_DATA_FILES WHERE TABLESPACE_NAME=tablespace_name;`

查看表空间剩余空间

`1`	`SELECT TABLESPACE_NAME,BYTES FROM DBA_FREE_SPACES;`

创建/修改用户

CREATE|ALTER
USER user_name
IDENTIFIED BY password
[DEFAULT TABLESPACE tablespace_name ]
[QUOTA size|UNLIMITED ON tablespace_name ]    用户使用表空间的最大值
[PROFILE profile ]    概要文件
[PASSWORD EXPIRE ]    用户密码过期
[ACCOUNT LOCK|UNLOCK];    默认锁定状态

删除用户

`1`	`DROP USER user_name CASCADE;`

授予系统权限

GRANT
system_privileges|ALL PRIVILEGES     权限
TO {user IDENTIFIED BY password|role }    用户/角色
[WITH ADMIN OPTION];    授予其他用户或角色系统权限

授予对象权限

GRANT
object_privilege|ALL     权限
ON schema.object     对象
TO user_name|role_name     用户/角色
[WITH ADMIN OPTION ]    授予其他用户或角色系统权限
[WITH THE GRANT ANY OBJECT];    授予其他用户或角色对象权限

撤销系统权限

1
2

REVOKE system_privilege FROM
user|role;

撤销对象权限

REVOKE
object_privilege |ALL
ON schema.object FROM
user_name|role_name
[CASCADE CONSTRAINTS];

数据字典

数据	字典
系统权限	DBA_SYS_PRIVS
对象权限	DBA_TAB_PRIVS
用户角色	DBA_ROLE_PRIVS

创建角色

CREATE|ALTER     //创建/修改
ROLE role_name
[NOT IDENTIFIED|IDENDIFIED BY [password]];
GRANT     //填充权限
system_privilege|ALL PRIVILEGES
TO role_name
[WITH ADMIN OPTION];
-- 角色创建完成后不能直接使用，需将角色赋予用户才能使用
GRANT role_name TO user_name;
SET ROLE role_name    -- 设置角色生效
SET ROLE ALL    -- 设置所有角色生效
SET ROLE ALL EXCEPT role_name    -- 设置只有role_name失效
SET ROLE NONE    -- 设置所有角色失效

删除角色

`1`	`DROP ROLE role_name;`

脱机备份（冷备份）/恢复

`1`	`关闭数据库服务后直接复制需要的文件，包括数据文件和控制文件`

联机备份（热备份）

ARCHIVE LOG LIST                                        查看本机数据库的日志状态
ALTER SYSTEM SET LOG_ARCHIVE_START=TRUE SCOPE=SPFILE;   设置日志模式为归档
SHUTDOWN IMMEDIATE;                                     关闭数据库
STARTUP MOUNT;                                          启动mount实例
ALTER DATABASE ARCHIVELOG;                              更改数据库为归档日志模式
ALTER DATABASE OPEN;                                    更改数据库状态为打开模式
ALTER TABLESPACE tablespace_name BEGIN BACKUP;          开始备份数据库
复制文件到其他目录
ALTER TABLESPACE tablespace_name END BACKUP;            结束备份操作

恢复

ALTER SYSTEM ARCHIVE LOG CURRENT;                       归档当前日志
ALTER SYSTEM SWITCH LOGFILE;                            切换日志文件
SELECT * FROM v$RECOVER_FILE                            获取文件编号
ALTER DATABASE DATAFILE file_id OFFLINE DROP;           把要恢复的数据文件脱机
ALTER DATABASE OPEN;                                    更改数据库状态为打开模式
RECOVER DATAFILE file_id;                               恢复数据文件
ALTER DATABASE DATAFILE file_id ONLINE;                 设置数据文件联机

EXP工具导出数据

`1`	`exp db_user/password 登陆数据库的用户名和密码，非SYS`

EXP工具直接导出表

`1`	`exp db_user/password file="filename.dmp" tables="table_name,..."`

EXP工具导出表空间

`1`	`exp db_user/password file="filename.dmp" tablespaces="tablespaces_name"`

EXPDP导出数据

1
2
3

CREATE DIRECTORY directory_name AS 'file_name';         目录名称 文件名称
GRANT READ,WRITE ON DIRECTORY directory_name TO db_user;    授权用户使用该目录
#expdp db_user/password directory=directory_name dumpfile=file_name tables=table_name;

IMP导入数据

`1`	`imp db_user/password`

IMP直接导入表

`1`	`imp db_user/password file="filename.dmp" tables="table_name,..."`

IMPDP导入数据

`1`	`impdp db_user_password`

IMPDP直接导入表

`1`	`impdp db_user/password directory=dir dumpfile=filename.dmp tables=table_name;`

RMAN工具配置

CONN /AS SYSDBA;    连接恢复目录数据库
CREATE USER rman_user IDENTIFIED BY password DEFAULT TABLESPACE tablespace_name;    创建恢复用户
GRANT RECOVERY_CATALOG_OWNER TO rman_user;    为新创建的用户授权
#rman
CONN CATALOG rman_user/password;    连接新创建的用户
CREATE CATALOG;    创建恢复目录

RMAN工具使用

#rman target db_user/password@servicename catalog rman_user/password    连接恢复目录数据库
CONNECT TARGET db_user/password@servicename;    连接目标数据库
CONNECT CATALOG rman_user/password@servicename;    连接恢复目录数据库
REGISTER database;    在恢复目录数据库中注册数据库

手动分配通道

关闭目标数据库，启动到mount状态，运行：
run
{
    ALLOCATE CHANNEL channel_name1 DEVICE TYPE {sbt|disk};
    ...
    BACKUP [level] [backup type] [option]
}

自动分配通道

1
2
3

CONFIGURE DEVICE TYPE {sbt|disk} PARALLELISM n;    指定通道类型和名称
CONFIGURE DEFAULT DEVICE TYPE {sbt|disk};    指定默认设备类型
BACKUP [level] [backup type] [option];

BACKUP 参数

1
2
3

level           备份增量，1、2、3、4或者FULL（全备份）
backup type     对象类型，database、datafile、tablespace、controlfilecopy、archivelog all
option          channel备份使用的通道 maxsetsize定义备份集的最大值

RESTORE还原

1
2

RESTORE database_object;
database_object:    DATABASE(mount),TABLESPACE(open),DATAFILE,CONTROLFILE(mount),ARCHIVELOG,SPFILE(mount)

RECOVER同步恢复

1
2

RECOVER database_object;
database_object:    DATABASE(mount),TABLESPACE(open),DATAFILE

CentOS7.4 静默安装 Oracle11g

Wed, 30 Oct 2019 11:54:49 +0800

环境

CentOS7.4 最小安装
数据库软件
- linux.x64_11gR2_database_1of2.zip
- linux.x64_11gR2_database_2of2.zip

操作系统配置

关闭 SELinux

`1`	`sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config`

关闭防火墙，或者放行 tcp 1521 端口

1
2

systemctl disable firewalld
systemctl stop firewalld

检查交换内存(swap)大小，建议内存一半以上，如果没有设置虚拟内存，可参考如下操作

Oracle 笔记

Wed, 30 Oct 2019 11:53:08 +0800

导出一个表的表结构 sql

set heading off;
set echo off;
set pages 999;
set long 90000;
spool table_name.sql
select dbms_metadata.get_ddl('TABLE','table_name','user_name') from dual;
spool off;

到处一个用户的全部表结构 sql

set pagesize 0
set long 90000
set feedback off
set echo off
spool user_tables.sql
SELECT DBMS_METADATA.GET_DDL('TABLE',t1.table_name) FROM USER_TABLES t1;
spool off;

设置 oracle 客户端的字符集

1
2
3

select * from v$nls_parameters;
-- 在输出中找到 NLS_LANGUAGE、NLS_TERRITORY、NLS_CHARACTERSET 这三个变量的值
-- 环境变量 NLS_LANG 就是由这三个变量组成：NLS_LANG = language_territory.charset

终端连接(ssh) sqlplus 中文乱码

设置该终端与数据库服务器当前字符集编码一致即可

修改数据库字符集

shutdown immediate; (把database停了)
startup mount; (把database重开去可更改情況)
alter system enable restricted session;
alter system set job_queue_processes=0;
alter system set aq_tm_processes=0;
alter database open;
alter database character set internal_use utf8;
shutdown immediate;
startup; (重开正常oracle)

Oracle 12c PDB 管理

查看当前模式
1

show con_name; -- 默认 CDB$ROOT

查看 CDB$ROOT 下所有 pdbs

1
2
3

select name, open_mode from v$pdbs;
-- 或者
show pdbs;

创建 PDB 数据库

create pluggable database pdborcl1
    admin user pdborcl1_adm identified by pdborcl1_pass
    roles=(dba,connect,resource)
    file_name_convert=('/opt/oracle/app/oradata/orcl/pdbseed','/opt/oracle/app/oradata/orcl/pdborcl1')
    path_prefix='/opt/oracle/app/oradata/orcl/pdborcl1';

PDB 数据库创建完成后进入 mount 状态，需手动启动

`1`	`alter pluggable database {pdborcl1[,pdborcl2]\|all [except pdborcl2]} open [read only] [force];`

进入打开的 PDB 数据库

`1`	`alter session set container=pdborcl1;`

切换回 CDB$ROOT

`1`	`alter session set container=cdb$root;`

关闭 PDB 数据库

`1`	`alter pluggable database {pdborcl1[,pdborcl2]\|all [except pdborcl2]} close [immediate];`

删除关闭的 PDB 数据库

`1`	`drop pluggable database pdborcl1 [including datafiles];`

sqlplus 到处 csv 文件

1
2
3

sqool /home/oracle/sql_result.csv
select '"' || field1 || '","' || field2 || '","' ... '","' || fieldn || '"' from table1;
spool off

系统变量

常用设置

域输出分隔符
1

set colsep ' ';
设置查询出来的数据分多少页显示，如果需要连续的数据，中间不要出现空行就把newp设置为none，这样输出的数据行都是连续的，中间没有空行之类的
1

set newp none;
显示start启动的脚本中的每个sql命令，缺省为on
1

set echo off;
设置运行命令是是否显示语句
1

set echo on;
设置显示"已选择XX行"
1

set feedback on;
回显本次sql命令处理的记录条数，缺省为on即去掉最后的 “已经选择10000行”
1

set feedback off;
输出域标题，缺省为on 设置为off就去掉了select结果的字段名，只显示数据
1

set heading off;
输出每页行数，缺省为24,为了避免分页，可设定为0。
1

set pagesize 0;
输出一行字符个数，缺省为80
1

set linesize 80;
输出number类型域长度，缺省为10
1

set numwidth 12;
显示脚本中的命令的执行结果，缺省为on
1

set termout off;
去除标准输出每行的拖尾空格，缺省为off
1

set trimout on;
去除重定向（spool）输出每行的拖尾空格，缺省为off
1

set trimspool on;
设置允许显示输出类似dbms_output
1

set serveroutput on;
设置显示已用时间
1

set timing on;
设置允许对执行的sql进行分析
1

set autotrace on;

系统变量记录

ARRAY[SIZE] {20(默认值)|n} sqlplus 一次从数据库获取的行数,有效值为1至5000. 大的值可提高查询和子查询的有效性,可获取许多行,但也需要更多的内存.当超过1000时,其效果不大.
AUTO[COMMIT] {OFF(默认值)|ON|IMM[EDIATE]} 控制ORACLE对数据库的修改的提交. 置ON时,在ORACLE执行每个SQL命令或PL/SQL块后对数据库提交修改;置OFF时则制止自动提交,需要手工地提交修改,例如用SQL的COMMIT命令. IMMEDIATE功能同ON.
BLO[CKTERMINATOR] {.(默认值)|C} 置非字母数字字符,用于结束PL/SQL块.要执行块时,必须发出RUN命令或/命令.
CMDS[EP] {;|C|OFF(默认值)|ON} 置非字母数字字符,用于分隔在一行中输入的多个SQL/PLUS命令.ON或OFF控制在一行中是否能输入多个命令. ON时将自动地将命令分隔符设为分号(.其中C表示所置字符.
COM[PATIBILITY] {V5|V6|V7|NATIVE(默认值)} 指定当前所链接的ORACLE版本.如果当前ORACLE的版本为5,则置COMPATIBILITY为V5; 为版本6时置成V6; 为版本7时置成V7. 如果希望由数据库决定该设置,在置成NATIVE.
CON[CAT] {.(默认值)|C|OFF|ON(默认值)} 设置结束一替换变量引用的字符.在中止替换变量引用字符之后可跟所有字符,作为体会组成部分,否则sqlplus将解释为替换变量名的一部分.当CONCAT开关为ON时,sqlplus可重置CONCAT的值为点(.).
COPYC[OMMIT] {0(默认值)|n} 控制COPY命令提交对数据库修改的批数.每次拷贝n批后,将提交到目标数据库.有效值为0到5000. 可用变量ARRAYSIZE设置一批的大小.如果置COPYCOMMIT为0,则仅在COPY操作结束时执行一次提交.

CRT crt 改变 sqlplus RUNFORM 命令使用的缺省CRT文件.如果置CRT不包含什么,则crt仅包含’’’’.如果在一个Form的系统调用期间,要使用NEW.CRT(缺省CRT是OLD.CRT),可按下列形式调用Form:

SQL>;RUNFORM -C NEW form名
或者
SQL>;SET CRT NEW
SQL>;RUNFORM form名
# 第二中方法存储CRT选择,以致在下次运行RUNFORM命令(是在同一次sqlplus交互中)时,不需要指定.

DEF[INE] {&|C|OFF|ON(默认值)} 设置在替换变量时所使用的字符.ON或OFF控制sqlplus是否扫描替换变量的命令及用他们的值代替. DEFINE的ON或OFF的设置控制SCAN变量的设置.
ECHO {OFF|ON} 控制START命令是否列出命令文件中的每一命令.为ON时,列出命令;为OFF时,制止列清单.
EMBEDDED {OFF(默认值)|ON} 控制每一报表在一页中开始的地方. 为OFF时,迫使每一报表是在新页的顶部开始;为ON时,运行一报表在一页的任何位置开始.
ESC[APE] {(默认值)|C|OFF(默认值)|ON} 定义作为Escape字符的字符.为OFF时,使Escape字符不起作用.为ON时,使Escape字符起作用.
FEED[BACK] {6(默认值)|n|OFF|ON} 显示由查询返回的记录数.ON和OFF置显示为开或关.置FEEDBACK为ON时,等价于置n为1. 如果置FEEDBACK为0,等价于将它置成OFF.
FLU[SH] {OFF|ON(默认值)} 控制输出送至用户的显示设备.为OFF时,运行操作系统做缓冲区输出;为ON时,不允许缓冲. 仅当非交互方式运行命令文件时使用OFF,这样可减少程序I/O总是,从而改进性能.
HEA[DING] {OFF|ON(默认值)} 控制报表中列标题的打印.为ON时,在报表中打印列标题;为OFF时禁止打印列标题.
HEADS[EP] {|(默认值)|C|OFF|ON(默认值)} 定义标题分隔字符.可在COLUMN命令中使用标题分隔符,将列标题分成多行.ON和OFF将标题分隔置成开或关.当标题分隔为关(OFF)时,sqlplus打印标题分隔符像任何字符一样.
LIN[ESIZE] {80(默认值)|n} 置sqlplus在一行中显示的字符总数,它还控制在TTITLE和BTITLE中对准中心的文本和右对齐文本. 可定义LINESIZE为1至最大值,其最大值依赖于操作系统.
LONG {80(默认值)|n} 为显示和拷贝LONG类型值的最大宽度的设置. 对于ORACLE7, n的最大值为2G字节;对于版本6,最大值为32767.
LONGC[HUNKSIZE] {80(默认值)|n} 为sqlplus检索LONG类型值的增量大小.由于内存的限制,可按增量检索,该变量仅应用于ORACLE7.
MAXD[ATA] n 置sqlplus可处理的最大行宽字符数,其缺省值和最大值在不同操作系统中是可变的.
NEWP[AGE] {1(默认值)|n} 置每一页的头和顶部标题之间要打印的空行数.如果为0, 在页之间送一换号符,并在许多终端上清屏.
NULL text 设置表示空值(null)的文本,如果NULL没有文本,则显示空格(缺省时). 使用COLUMN命令中的NULL子句可控制NULL变量对该列的设置.
NUMF[ORMAT] 格式设置显示数值的缺省格式,该格式是数值格式.
NUM[WIDTH] {10(默认值)|n} 对显示数值设置缺省宽度.
PAGES[IZE] {14(默认值)|n} 置从顶部标题至页结束之间的行数.在11英寸长的纸上打印报表,其值为54,上下各留一英寸(NEWPAGE值为6).
PAU[SE] {OFF(默认值)|ON|text} 在显示报表时,控制终端滚动.在每一暂停时,必须按RETURN键.ON将引起sqlplus在每一报表输出页开始时暂停.所指定的文本是每一次sqlplus暂停时显示的文本.如果要键入多个词,必须用单引号将文本括起来.
RECSEP {WRAPPED|EA[CH]|OFF} 指定显示或打印记录分行符的条件.一个记录分行符,是由RECSEPCHAR指定的字符组成的单行.空格为RECSEPCHAR的默认字符.
RECSEPCHAR { |C} 告诉sqlplus在哪儿做记录分隔.例如将RECSEP置成WRAPPED,在每一缠绕行之后,打印记录分行符.如果将RECSEP置成EACH,sqlplus在每一行后打印一记录分行符.如果将RECSEP置成OFF, sqlplus不打印分行符.
SCAN {OFF|ON(默认值)} 控制对存在的替换变量和值的扫描.OFF禁止替换变量和值的处理; ON则允许正常处理.
SERVEROUT[PUT] {OFF|ON} [SIZE n] 控制在sqlplus中的存储过程是否显示输出.OFF时为禁止; ON时则显示输出. SIZE设置缓冲输出的字节数,缺省值为2000, n不能小于2000或大于一百万.
SHOW[MODE] {OFF(默认值)|ON} 控制sqlplus在执行SET命令时是否列出其新老值old或new的设置.
SPA[CE] {1(默认值)|n} 设置输出列之间空格的数目,其最大值为10.
SQLC[ASE] {MIXED|LO[WER]|UP[PER]} 先于执行之前,将SQL命令和PL/SQL块的大小写进行转换. sqlplus将转换命令中的全部文本,包括带引号的直接量和标示符.SQLCASE不改变SQL缓冲区本身.
SQLCO[NTINUE] {>;(默认值)|文本} 在一附加行上继续一sqlplus命令时,sqlplus以该设置的字符序列进行提示.
SQLN[UMBER] {OFF|ON(默认值)} 为SQL命令和PL/SQL块的第二行和后继行设置提示.为ON时,提示行号;为OFF时,提示设置为SQLPROMPT的值.
SQLPER[FIX] {#(默认值)|C} 设置sqlplus前缀字符.在键入一SQL命令或PL/SQL块时,可在单独行上键入一sqlplus命令,由sqlplus的前缀字符做前缀. sqlplus直接执行该命令,不影响SQL命令或PL/SQL块.前缀字符必须是非字母数字字符.

SQLP[ROMPT] {SQL>;(默认值)|文本} 设置sqlplus的命令提示符.

11:37:45 SQL> show sqlprompt
sqlprompt "SQL> "
11:38:21 SQL> set sqlprompt Jamm>
11:39:54 Jamm>show sqlprompt
sqlprompt "Jamm>"
11:40:03 Jamm>

SQLT[ERMINATOR] {;(默认值)|C|OFF|ON(默认值)} 设置用于结束和执行SQL命令的字符. OFF意味着sqlplus不识别命令终止符,用键入空行来结束SQL命令. ON重设置终止符为默认的分号.
SUF[FIX] {SQL(默认值)|文本} 设置缺省文件的后缀,sqlplus在命令中使用,来引用命令文件. SUFFIX不控制输出(spool)文件的扩展名.
TAB {OFF|ON(默认值)} 决定sqlplus在终端输出中如何格式化空白空间. 为OFF时,在输出中使用空格格式化空白空间;为ON时,用TAB字符. TAB的缺省值依赖于系统,用SHOW TAB命令可查看该缺省值.
TERM[OUT] {OFF|ON(默认值)} 控制由文件执行命令所产生的输出的显示. OFF禁止显示,以致从一个命令文件假脱机输出,在屏幕上看不到输出. ON时显示输出. TERMOUT OFF 不影响交互地进行命令的输出.
TI[ME] {OFF(默认值)|ON} 控制当前日期的显示. ON时,在每条命令提示前显示当前时间; OFF时禁止时间的显示.
1 2 3

11:37:54 SQL> set time off SQL> set time on 11:38:21 SQL>
TIMI[NG] {OFF(默认值)|ON} 控制时间统计的显示. ON时,显示每一个运行的SQL命令或PL/SQL块的时间统计; OFF时,禁止每一个命令的时间统计.
TRIM[OUT] {OFF|ON(默认值)} 决定sqlplus在每一显示行的末端是否允许带空格. ON时将每行尾部的空格去了,特别当从慢速的通信设备存取sqlplus时可改进性能; OFF时允许sqlplus显示尾部的空格.TRIMOUT ON 不影响假脱机输出. 设置TAB ON时,sqlplus忽略TRIMOUT ON.
UND[ERLINE] {-(默认值)|C|OFF|ON(默认值)} {-(默认值)|C|OFF|ON(默认值)} 设置用在sqlplus报表中下划线列标题的字符. ON或OFF将下划线置成开或关.
VER[IFY] {OFF|ON(默认值)} 控制sqlplus用值替换前、后是否列出命令的文本. ON时显示文本;OFF时禁止列清单.
WRA[P] {OFF|ON(默认值)} 控制sqlplus是否截断数据项的显示. OFF时截断数据项;ON时允许数据项缠绕到下一行. 在COLUMN命令中使用WRAPPED和TRUNCATED子句可控制对指定列的WRAP的设置.

参考

https://blog.csdn.net/lfc453048573/article/details/12956191

Mysql 笔记

Wed, 30 Oct 2019 11:51:23 +0800

MySQL 5.7 配置文件 my.cnf

[mysqld]
datadir                        = /db/mysql
socket                         = /var/lib/mysql/mysql.sock
symbolic-links                 = 0
log-timestamps                 = SYSTEM
slow-query-log                 = 1
slow-query-log-file            = /var/log/mysqld/slow.log
long-query-time                = 8
#log-queries-not-using-indexes  = 1
log-error                      = /var/log/mysqld/error.log
pid-file                       = /var/run/mysqld/mysqld.pid
max-connections                = 1000
max-connect-errors             = 1000
max-user-connections           = 600
interactive-timeout            = 3600
wait-timeout                   = 3600
skip-name-resolve              = 1
lower-case-table-names         = 1
default-time-zone              = '+08:00'
character-set-server           = utf8mb4
sql-mode                       = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
bind-address                   = 0.0.0.0
table-open-cache               = 2048
default-storage-engine         = innodb
innodb-autoinc-lock-mode       = 2
innodb-flush-log-at-trx-commit = 0
# 建议物理内存一半
innodb-buffer-pool-size        = 8G
innodb-buffer-pool-instances   = 8
max-allowed-packet             = 512M
query-cache-size               = 0
query-cache-type               = 0
# 建议点分 ip 的最后一个数字
server-id                      = 123
# bin log
#binlog-format                  = ROW
#log-bin                        = /var/lib/mysql/mysql-bin
#expire-logs-days               = 3
# relay log
#read-only                      = 1
#replicate-wild-do-table        = db1.%
#relay-log                      = /var/lib/mysql/mysql-relay-bin
#slave-parallel-type            = logical-clock

复制表结构

1
2

create table db1.t1 like db2.t2;
create table db1.t1 select db2.t2 where 1=2;

复制表结构及其数据

`1`	`create table db1.t1 select db2.t2 [where ...]`

复制表数据

1
2

insert into db2.t2(column1, column2 ...)
    select column1, column2 ... from db1.t1 [where ...]

通过复制表文件来复制表数据

在db2中创建同结构表

Elasticsearch 笔记

Wed, 30 Oct 2019 11:49:53 +0800

索引

查看某节点的全部索引

`1`	`curl http://127.0.0.1:9200/_cat/indices?v`

新建 index

`1`	`curl -X PUT http://127.0.0.1:9200/index_name`

删除 index

`1`	`curl -X DELETE http://127.0.0.1:9200/index_name`

记录

新增记录(指定记录id)

curl -X PUT -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/doc_id -d '
{
    "aa": "11",
    "bb": "22"
}'

新增记录(不指定记录id)

curl -X POST -H "Content-Type: application/json" http://127.0.0.1:9200/index_name -d '
{
    "aa": "11",
    "bb": "22"
}'

查看记录

`1`	`curl http://127.0.0.1:9200/index_name/doc_id?pretty=true`

删除记录

`1`	`curl -X DELETE http://127.0.0.1:9200/index_name/doc_id`

更新记录

curl -X PUT -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/doc_id -d '
{
    "aa": "33",
    "bb": "44"
}'

查询

查询所有记录

`1`	`curl http://127.0.0.1:9200/index_name/_search`

查询匹配

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {"match": {"key_name": "value_pattern"}}
}'

从位置2(默认0)开始查询8(默认10)条记录

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {"match": {"key_name": "value_pattern"}},
    "from": 2,
    "size": 8
}'

逻辑 or 查询

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {"match": {"key_name": "value_pattern_1 value_pattern_2"}}
}'

逻辑 and 查询

curl -H "Content-Type: application/json" http://127.0.0.1:9200/index_name/_search -d '
{
    "query": {
        "bool": {
            "must": [
                {"match": {"key_name": "value_pattern_1"}},
                {"match": {"key_name": "value_pattern_2"}}
            ]
        }
    }
}'

区间查询

set -euo pipefail
export START_TIME="$(date +%s -d $1)"
export END_TIME="$(date +%s -d $2)"
curl -s -H "Content-Type: application/json" -o result.txt \
    http://127.0.0.1:9200/wangmei_raw/_search?pretty -d @- <<EOF
{
  "_source": [
    "spider_name",
    "spider_time",
    "media_name",
    "publish_time"
  ],
  "query": {
    "bool": {
      "filter": {
        "range": {
          "spider_time": {
            "gt": $START_TIME,
            "lte": $END_TIME
          }
        }
      }
    }
  },
  "size": 10000
}
EOF

Kibana

lucene 正则查询

1
2

#查询包含10000-99999毫秒的 message 字段
{ "regexp": { "message": "[0-9]{5}ms" } }

Dev tool 模拟 pipeline

POST _ingest/pipeline/_simulate
{
  "pipeline" : {
    "description": "",
    "processors": [
      {
        "grok": {
          "field": "message",
          "patterns": [
            "",
            ""
          ],
          "ignore_missing": true,
          "ignore_failure": true
        }
      }
    ]
  },
  "docs" : [
    {
      "_source": {
        "message": ""
      }
    },
    {
      "_source": {
        "message": ""
      }
    }
  ]
}

pipeline

查看已有的 pipeline

1
2
3

curl http://127.0.0.1:9200/_ingest/pipeline?pretty=true
# 指定 nginx-access
curl http://127.0.0.1:9200/_ingest/pipeline/nginx-access?pretty=true

Mysql 慢查询日志
Secure 登陆日志
Nginx access 日志

filebeat

Nginx 笔记

Wed, 30 Oct 2019 11:47:55 +0800

set

set ${变量名} {字符串};

全局变量

$args $query_string 请求行中的参数
$content_length 请求头里的 Content-length 字段
$content_type 请求头里的 Content-type 字段
$document_root 请求在 root 指令中指定的值
$host 请求头里的 Host 字段，如果没有则是服务器名
$http_user_agent 客户端agent信息
$http_cookie 客户端cookie信息
$limit_rate 这个变量可以限制连接速率
$request_method 客户端请求的动作，通常为GET或POST
$remote_addr 客户端的IP地址
$remote_port 客户端的端口
$remote_user 已经经过 Auth Basic Module 验证的用户名
$request_filename 请求的文件路径，由 root 或 alias 指令与 URI 请求生成
$scheme http 或者 https
$server_protocol 请求使用的协议 HTTP/1.0 或 HTTP/1.1
$server_addr 服务器地址，在完成一次系统调用后可以确定这个值
$server_name 服务器名称
$server_port 请求到达服务器的端口号
$request_uri 包含请求参数的原始URI，不包含主机名，如"/foo/bar.php?arg=baz"
$document_uri $uri 不带请求参数的当前URI，不包含主机名，如"/foo/bar.html"

map

语法

Zabbix 笔记

Wed, 30 Oct 2019 11:45:29 +0800

通过 JavaGateway 监控 tomcat

编译 zabbix server，configure 增加 –enable-java

修改 zabbix_server.conf 文件，配置 JavaGateway 参数

1
2
3

JavaGateway=127.0.0.1
JavaGatewayPort=10052
StartJavaPollers=5

配置 tomcat catalina 启动参数

export CATALINA_OPTS="
    -Dcom.sun.management.jmxremote
    -Dcom.sun.management.jmxremote.authenticate=false
    -Dcom.sun.management.jmxremote.ssl=false
    -Dcom.sun.management.jmxremote.port=10053
    -Djava.rmi.server.hostname={tomcat_server_ip}
"

重启 tomcat

Ceph 笔记

Wed, 30 Oct 2019 11:44:37 +0800

测试环境

操作系统	主机名	IP	OSD 设备	OSD ID	容量	ceph 版本
CentOS7	ceph101	192.168.1.101	/dev/sdb	0	3TB	jewel
CentOS7	ceph102	192.168.1.102	/dev/sdb	1	3TB	jewel
CentOS7	ceph103	192.168.1.103	/dev/sdb	2	3TB	jewel

ceph 部署机
- 操作系统: CentOS7
- 部署用户: cephdeploy
- 操作目录: /home/cephdeploy/ceph-cluster
- IP: 192.168.1.100

新增 OSD

设置 ceph 三个 noflag，禁止 ceph 自动迁移数据

# 在任一节点上执行下面命令即可
ceph osd set noout
ceph osd set nobackfill
ceph osd set norecover
ceph -s # 此时能看到这三个 flag，而且集群处于不健康状态

关闭这三台 ceph 服务器，加装新的磁盘，个人认为无需配置多盘 raid
启动这三台 ceph 服务器，此时 ceph 自动启动，那三个 noflag 依旧有效
此时查看每台服务器的存储，应该能看到新增的一个或多个裸磁盘
1

lsblk

这里假设每台服务器新增两个磁盘(/dev/sdc,/dev/sdd)，都配置成 osd

# 在 ceph 部署机上执行以下命令
su - cephdeploy
cd /home/cephdeploy/ceph-cluster
# 每次创建一个，别浪 ...
ceph-deploy osd create ceph101:/dev/sdc
ceph-deploy osd create ceph101:/dev/sdd
ceph-deploy osd create ceph102:/dev/sdc
ceph-deploy osd create ceph102:/dev/sdd
ceph-deploy osd create ceph103:/dev/sdc
ceph-deploy osd create ceph103:/dev/sdd

osd 增加完成后，取消之前设置的那三个 noflag

# 在任一节点上执行下面命令即可
ceph osd unset noout
ceph osd unset nobackfill
ceph osd unset norecover

此时数据向新增的 osd 上均衡，时间不确定 …… 只能等！

1
2

# 在任一节点上执行下面命令，观察数据迁移
ceph -w

直至 ceph 恢复健康状态

1
2

# 在任一节点上执行下面命令，查看集群状态
ceph -s

删除 OSD

把指定的 osd 踢出集群

1
2
3

# 在任一节点上执行下面命令即可
ceph osd out {osd-id}
ceph -s # 此时能看到一个 osd 已经 out

此时数据在剩下的几个 osd 上均衡，时间不确定 …… 只能等！
1 2

# 在任一节点上执行下面命令，观察数据迁移 ceph -w

直至 ceph 恢复健康状态

1
2

# 在任一节点上执行下面命令，查看集群状态
ceph -s

停止该被踢出的 osd

1
2
3

# 在运行该 osd 的节点上执行下面命令
systemctl stop ceph-osd@{osd-id}
ceph -s # 此时能看到一个 osd 已经 down

删除该被停止的 osd

# 在任一节点上执行下面命令即可
# 删除 CRUSH 图对应的 osd 条目
ceph osd crush remove osd.{osd-id}
# 删除 osd 认证密钥
ceph auth del osd.{osd-id}
# 删除 osd
ceph osd rm {osd-num}
# 删除各节点的 ceph.conf 可能存在的 osd.{osd-id} 配置

设置 ceph 三个 noflag，禁止 ceph 自动迁移数据

# 在任一节点上执行下面命令即可
ceph osd set noout
ceph osd set nobackfill
ceph osd set norecover
ceph -s # 此时能看到这三个 flag，而且集群处于不健康状态

关闭这三台 ceph 服务器，撤掉已被删除 osd 对应的旧磁盘
启动这三台 ceph 服务器，此时 ceph 自动启动，三个 noflag 依旧有效；

取消之前设置的那三个 noflag

# 在任一节点上执行下面命令即可
ceph osd unset noout
ceph osd unset nobackfill
ceph osd unset norecover

直至 ceph 恢复健康状态

1
2

# 在任一节点上执行下面命令，查看集群状态
ceph -s

OSD 动态配置

查看 osd 当前配置
1

ceph -n osd.0 --show-config

动态修改 osd 某个参数

`1`	`ceph tell osd.* injectargs '--osd_max_backfills 7'`

PG 和 PGP

少于 5 个 OSD 时可把 pg_num 设置为 128
OSD 数量在 5 到 10 个时，可把 pg_num 设置为 512
OSD 数量在 10 到 50 个时，可把 pg_num 设置为 1024
OSD 数量大于 50 时，<osd数量> * 100/副本数量(默认3)，该值接近的 2 的 N 次方值
存储池的 PG 和 PGP 数量一般相等，都是 2 的 N 次方，只能增加，每次增加为当前的 2 倍

查看存储池的 PG 和 PGP 数量

1
2

ceph osd pool get {pool_name} pg_num
ceph osd pool get {pool_name} pgp_num

增加/设置存储池的 PG 和 PGP 数量

1
2

ceph osd pool set {pool_name} <cur_pg_num>*2
ceph osd pool set {pool_name} <cur_pgp_num>*2

获取所有卡在某状态的归置组统计信息

1
2
3

ceph pg dump_stuck inactive|unclean|stale|undersized|degraded
#Inactive （不活跃）归置组不能处理读写，因为它们在等待一个有最新数据的 OSD 复活且进入集群
#Unclean （不干净）归置组含有复制数未达到期望数量的对象，它们应该在恢复中

获取一个具体归置组的归置组图
1

ceph pg map {pg-id}

CEPH 服务器关机维护

设置 ceph 节点 down 后不自动迁移或恢复数据

1
2
3

ceph osd set noout
ceph osd set nobackfill
ceph osd set norecover

直接关机
下次开机

设置 ceph 节点开始自动迁移或回复数据

1
2
3

ceph osd unset noout
ceph osd unset nobackfill
ceph osd unset norecover

Websocket 查看实时日志

Wed, 30 Oct 2019 11:43:23 +0800

操作系统

CentOS7

下载 websocketd

websocketd-0.3.0-linux_amd64.zip

安装 nc 命令

`1`	`yum install nmap-ncat`

创建监听脚本

cat > cmd.sh <<-END
##!/bin/bash
pkill -x nc
while :; do
    nc -nkl 10088
    sleep 1
done
END

创建 log.html

<!DOCTYPE html>
<html>
<head>
    <style>
        body{
            background-color: #0e1012;color: #ffffff;
        }
        *{
            margin: 0; padding: 0;
        }
        #msg{
            overflow:auto; border:2px solid #303030; color:#ffffff; background-color: #2b2b2b; font-size: 13px; position: absolute; left: 8px; right: 8px; bottom: 8px; top: 40px; word-break:
break-all;
        }
        #log{
            position: fixed; top: 0; left: 0; width: 100%; height: 40px; text-align: left; margin: 4px 0 0 8px;
        }
        #log b{
            font-size: 26px;
        }
        #msgBtn{
            padding: 5px 10px; border: none; background: #777; float: right; margin: 0 16px 0 0;
        }
    </style>
</head>
<body>
    <div id="log"><span><b>实时日志</b></span><button id="msgBtn" type="button">清空</button></div>
    <div id="msg"><ul class="list"></ul></div>
    <script src="http://libs.baidu.com/jquery/1.9.1/jquery.min.js"></script>
    <script>
        $(document).ready(function() {
            if (!window.WebSocket) {
                if (window.MozWebSocket) {
                    window.WebSocket = window.MozWebSocket;
                } else {
                    $('#msg').append("<p>你的浏览器不支持websocket</p>");
                }
            }
            var ws = new WebSocket('ws://221.7.197.100:8008/websocket/');
            ws.onopen = function(evt) {
                $('.list').append('<li>websocket连接成功</li>');
            }
            ws.onmessage = function(evt) {
                $('.list').append('<li>' + evt.data + '</li>');
                setTimeout(function(){$('#msg').scrollTop($('.list').height()-$('#msg').height());}, 100)
            }
            $("#msgBtn").click(function(){
                $(".list").html("");
            })
        });
    </script>
</body>
</html>

文件部署位置

websocketd/
├── [-rwxr-xr-x]  cmd.sh
├── [drwxr-xr-x]  websocket
│   └── [-rw-r--r--]  log.html
└── [-rwxr-xr-x]  websocketd

启动 websocketd

1
2

cd websocketd
./websocketd --port=8008 --staticdir=. ./cmd.sh

在浏览器中打开日志浏览页面

http://{websocket-server}:8008/websocket/log.html

在其他应用服务器，传输实时日志

`1`	`tail -f /tomcat/logs/catalina.out \| nc -n {websocket-server} 10088`

关闭实时日志

在目标服务器中 kill nc
1

pkill -x nc
在 websocket server 中 kill nc
1

pkill -x nc
直接刷新浏览器的日志浏览页面

Haproxy 笔记

Wed, 30 Oct 2019 11:40:20 +0800

CentOS7 下安装

CentOS7 自带的 haproxy 版本太低，这里通过 cheese 源安装最新版本

安装 cheese repo，详细参考这里

1
2

wget http://www.nosuchhost.net/~cheese/fedora/packages/epel-7/x86_64/cheese-release-7-1.noarch.rpm
rpm -Uvh cheese-release-7-1.noarch.rpm

安装 haproxy
1

yum install haproxy

修改 sysctl.conf

cat >> /etc/sysctl.conf <<-END
net.ipv4.ip_forward=1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 8
END
sysctl -p

禁用 selinux

1
2

sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
setenforce 0

全局配置

global
    log         127.0.0.1 local2 info
    chroot      /var/lib/haproxy # 如果需要外部检查脚本，则需注释该行
    #external-check # 如果需要外部检查脚本，则取消注释
    pidfile     /var/run/haproxy.pid
    maxconn     102400
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats

默认配置

defaults
    log global
    option dontlognull
    option redispatch
    option abortonclose
    timeout check 8s

tcp 连接多个 ceph-radosgw

frontend  ceph-radosgw
    bind *:7480
    timeout client 8s
    default_backend ceph-radosgw
backend ceph-radosgw
    mode tcp
    balance roundrobin
    timeout connect 8s
    timeout server 8s
    retries 2
    #option external-check
    #external-check command /var/lib/haproxy/health_check.sh
    server cpeh240 10.9.10.234:7480 check
    server ceph241 10.9.10.235:7480 check
    server ceph243 10.9.10.236:7480 check

tcp 连接 mysql galera cluster

frontend mysql
    bind *:3306
    timeout client 1800s
    default_backend mysql
backend mysql
    balance source
    option tcpka
    timeout connect    8s
    timeout server     1800s
    retries 2
    server  mysql231   10.9.10.231:3306 check inter 4s
    server  mysql232   10.9.10.232:3306 check inter 4s
    server  mysql233   10.9.10.233:3306 check inter 4s

tcp 连接 redis 主库

frontend redis
    bind *:6379
    timeout client 1800s
    default_backend redis
backend redis
    balance roundrobin
    timeout connect 8s
    timeout server 1800s
    retries 2
    option tcp-check
    tcp-check connect
    tcp-check send PING\r\n
    tcp-check expect string +PONG
    tcp-check send info\ replication\r\n
    tcp-check expect string role:master
    tcp-check send QUIT\r\n
    tcp-check expect string +OK
    server redis87 10.1.14.87:6379 check inter 4s
    server redis88 10.1.14.88:6379 check inter 4s
    server redis89 10.1.14.89:6379 check inter 4s

状态页面

listen admin_stats
    bind 0.0.0.0:10080
    mode http
    maxconn 100
    timeout client 1m
    timeout connect 4s
    timeout server 4s
    stats refresh 30s
    stats uri /
    stats auth username:password
    stats realm haproxy for private user, enter username/password
    stats hide-version

通过 rsyslog 生成日志

sed -i -e '/ModLoad imudp/s/^#//' \
    -e '/UDPServerRun 514/s/^#//' /etc/rsyslog.conf
cat > /etc/rsyslog.d/haproxy.conf <<EOF
## haproxy log
template(name="HaproxyTime" type="list"){
    property(name="timereported" dateformat="year")
    constant(value="-")
    property(name="timereported" dateformat="month")
    constant(value="-")
    property(name="timereported" dateformat="day")
    constant(value=" ")
    property(name="timereported" dateformat="hour")
    constant(value=":")
    property(name="timereported" dateformat="minute")
    constant(value=":")
    property(name="timereported" dateformat="second")
    constant(value=" ")
    property(name="msg" droplastlf="on")
    constant(value="\n")
}
template(name="DynFile" type="list"){
    constant(value="/var/log/haproxy/haproxy-")
    property(name="timereported" dateformat="year")
    property(name="timereported" dateformat="month")
    property(name="timereported" dateformat="day")
    constant(value=".log")
}
local2.* action(type="omfile" dynaFile="DynFile" template="HaproxyTime")
EOF
systemctl restart rsyslog
systemctl restart haproxy

参考

Ansible

Wed, 30 Oct 2019 11:38:39 +0800

CentOS7 安装 ansible

`1`	`yum install ansible`

修改配置文件 /etc/ansible/ansible.conf

## 取消 ssh key 验证
host_key_checking = False
## 改用 debug 输出模式
stdout_callback = debug

修改配置文件 hosts

## 增加 tomcat 服务器组
[tomcat]
tomcat101 ansible_ssh_host=192.168.1.101
tomcat102 ansible_ssh_host=192.168.1.102
tomcat103 ansible_ssh_host=192.168.1.103
## 增加 mysql 服务器组
[mysql]
mysql201 ansible_ssh_host=192.168.1.201 ansible_ssh_pass=111111
mysql202 ansible_ssh_host=192.168.1.202
mysql203 ansible_ssh_host=192.168.1.203
## 全局设置全部服务器的默认设置
[all:vars]
ansible_ssh_port=22
ansible_ssh_user=root
ansible_ssh_pass=123456

authorized_key 模块

1
2

## 分发密钥
ansible all -m authorized_key -a "user=root key='{{ lookup('file', '/root/.ssh/id_rsa.pub') }}'"

简单使用

批量设置主机名为资产名

1
2

ansible all -m shell -a 'hostnamectl set-hostname {{inventory_hostname}}'
ansible all -m shell -a 'echo "{{ansible_ssh_host}} {{inventory_hostname}}" >> /etc/hosts'

ansible 常用 roles

https://gitee.com/colben/ansible

Redis Sentinel

Wed, 30 Oct 2019 11:37:36 +0800

环境

主机名	地址	操作系统	初始状态
sentinel86	10.1.14.86	CentOS7.4	null
redis87	10.1.14.87	CentOS7.4	master
redis88	10.1.14.88	CentOS7.4	slave
redis89	10.1.14.89	CentOS7.4	slave

安装 redis

在全部服务器上安装 redis

1
2

yum install epel-release
yum install redis

redis master 配置

在 redis87 上修改 /etc/redis.conf
1

bind 0.0.0.0

redis slave 配置

在 redis88 和 redis89 上修改 /etc/redis.conf
1 2

bind 0.0.0.0 slaveof 10.1.14.87 6379

redis sentinel 配置

在 sentinel86 上创建三个 sentinel 配置文件

cd /etc/
cp redis-sentinel.conf redis-sentinel-16379.conf
cp redis-sentinel.conf redis-sentinel-26379.conf
mv redis-sentinel.conf redis-sentinel-36379.conf
chown redis.root redis-sentinel-?6379.conf

修改 /etc/redis-sentinel-16379.conf

bind 0.0.0.0
port 16379
dir /var/log/redis/16379
sentinel monitor mymaster 10.1.14.87 6379 2
sentinel down-after-milliseconds mymaster 8000
logfile /var/log/redis/16379/sentinel.log

修改 /etc/redis-sentinel-26379.conf

bind 0.0.0.0
port 26379
dir /var/log/redis/26379
sentinel monitor mymaster 10.1.14.87 6379 2
sentinel down-after-milliseconds mymaster 8000
logfile /var/log/redis/26379/sentinel.log

修改 /etc/redis-sentinel-36379.conf

bind 0.0.0.0
port 36379
dir /var/log/redis/36379
sentinel monitor mymaster 10.1.14.87 6379 2
sentinel down-after-milliseconds mymaster 8000
logfile /var/log/redis/36379/sentinel.log

创建日志目录

1
2
3

cd /var/log/redis/
mkdir 16379 26379 36379
chown redis.redis ?6379 -R

创建两个 sentinel service 文件

cd /usr/lib/systemd/system/
cp redis-sentinel.service redis-sentinel-16379.service
cp redis-sentinel.service redis-sentinel-26379.service
mv redis-sentinel.service redis-sentinel-36379.service

修改 /usr/lib/systemd/system/redis-sentinel-16379.service

1
2

ExecStart=/usr/bin/redis-sentinel /etc/redis-sentinel-16379.conf --daemonize no
ExecStop=/usr/libexec/redis-shutdown redis-sentinel-16379

修改 /usr/lib/systemd/system/redis-sentinel-26379.service

1
2

ExecStart=/usr/bin/redis-sentinel /etc/redis-sentinel-26379.conf --daemonize no
ExecStop=/usr/libexec/redis-shutdown redis-sentinel-26379

修改 /usr/lib/systemd/system/redis-sentinel-36379.service

1
2

ExecStart=/usr/bin/redis-sentinel /etc/redis-sentinel-36379.conf --daemonize no
ExecStop=/usr/libexec/redis-shutdown redis-sentinel-36379

更新服务
1

systemctl daemon-reload

启动 redis 服务

在 redis87、redis88 和 redis89 上启动 redis 服务

1
2
3

systemctl start redis
# 查看当前节点主从信息
redis-cli info replication

启动 redis sentinel 监控

在 sentinel86 上启动 sentinel 监管程序

1
2
3

systemctl start redis-sentinel-16379
systemctl start redis-sentinel-26379
systemctl start redis-sentinel-36379

Sqoop 笔记

Wed, 30 Oct 2019 11:35:48 +0800

把 mysql 表数据导入 hive 中

命令格式
1

sqoop import {参数列表}

默认在 hive 中创建指定表，如果该表已存在，则把 mysql 表数据追加到该表中，常规参数如下

--connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
--username _mysql_user_
--password _mysql_password_
--table _mysql_tablename_
--hive-import
--hive-database _hive_dbname_
--hive-table _hive_tablename_
--hive-drop-import-delims
-m 1

如果该表已存在，则报错退出，参数如下
1

--create-hive-table
如果该表已存在，则覆盖重新导入，参数如下
1

--hive-overwrite

导入增量数据，参数如下

1
2
3

--incremental append
--check-column _mysql_tablecolumn_
--last-value _last_value_

把 hive 表数据导入 mysql 中

命令格式
1

sqoop export {参数列表}

mysql 中需提前创建好待导入的表，常规参数如下

--connect jdbc:mysql://_mysql_server_:3306/_mysql_dbname_
--username _mysql_username_
--password _mysql_password_
--table _mysql_tablename_
--hcatalog-database _hive_dbname_
--hcatalog-table _hive_tablename_

只导出 hive 表中的部分的指定(部分)字段，参数如下
1

--columns "_column_name1_,_column_name2_,_column_name3_"

Gnome 笔记

Wed, 30 Oct 2019 11:34:41 +0800

常用设置

# 关闭左上角热响应
gsettings set org.gnome.desktop.interface enable-hot-corners false

# 缩放系统字体
gsettings set org.gnome.desktop.interface text-scaling-factor 1.5

# monospace 字体
gsettings set org.gnome.desktop.interface monospace-font-name 'YaHei Consolas Hybrid 15'

# gtk 主题
gsettings set org.gnome.desktop.interface gtk-theme 'Vertex-Dark'

# gnome-shell 主题
gsettings set org.gnome.shell.extensions.user-theme name 'Vertex'

# 图标主题
gsettings set org.gnome.desktop.interface icon-theme 'Faenza'

# 调整 gnome3 桌面(包括 gdm )放大级别
# 0 系统自动缩放
# n > 0 放大 n 倍
gsettings set org.gnome.desktop.interface scaling-factor 1

# 启用用户扩展
gsettings set org.gnome.shell disable-user-extensions false
gsettings set org.gnome.shell enabled-extensions "['user-theme@gnome-shell-extensions.gcampax.github.com', 'workspace-indicator@gnome-shell-extensions.gcampax.github.com', 'dash-to-panel@jderose9.github.com']"

# 工作区
gsettings set org.gnome.mutter dynamic-workspaces false
gsettings set org.gnome.desktop.wm.preferences num-workspaces 4
gsettings set org.gnome.desktop.wm.preferences workspace-names "['乾坤', '巽震', '坎离', '艮兑']"

# 窗口按钮
gsettings set org.gnome.desktop.wm.preferences button-layout 'appmenu:minimize,maximize,close'

在 “活动” 中创建 “文件夹”

# 创建文件夹
gsettings set org.gnome.desktop.app-folders folder-children "['Office','VirtualBox']"

# 指定文件夹名字
gsettings set org.gnome.desktop.app-folders.folder:/org/gnome/desktop/app-folders/folders/Office/ name "Office"
gsettings set org.gnome.desktop.app-folders.folder:/org/gnome/desktop/app-folders/folders/VirtualBox/ name "VirtualBox"

# 指定文件夹包含的应用类别
gsettings set org.gnome.desktop.app-folders.folder:/org/gnome/desktop/app-folders/folders/Office/ categories "['Office']"
gsettings set org.gnome.desktop.app-folders.folder:/org/gnome/desktop/app-folders/folders/VirtualBox/ categories "['Emulator']"

快捷键

gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-1 "[]"
gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-last "[]"
gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-up "['<Super>Up']"
gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-down "['<Super>Down']"
gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-left "['<Super>Left']"
gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-right "['<Super>Right']"

gsettings set org.gnome.desktop.wm.keybindings switch-applications "[]"
gsettings set org.gnome.desktop.wm.keybindings switch-applications-backward "[]"
gsettings set org.gnome.desktop.wm.keybindings switch-windows "['<Alt>Tab']"
gsettings set org.gnome.desktop.wm.keybindings switch-windows-backward "['<Shift><Alt>Tab']"
gsettings set org.gnome.shell.window-switcher current-workspace-only true
gsettings set org.gnome.shell.window-switcher app-icon-mode both

gsettings set org.gnome.desktop.wm.keybindings move-to-workspace-down "['<Alt><Super>Down']"
gsettings set org.gnome.desktop.wm.keybindings move-to-workspace-up "['<Alt><Super>Up']"
gsettings set org.gnome.desktop.wm.keybindings move-to-workspace-last "[]"

gsettings set org.gnome.desktop.wm.keybindings move-to-monitor-up "[]"
gsettings set org.gnome.desktop.wm.keybindings move-to-monitor-right "[]"
gsettings set org.gnome.desktop.wm.keybindings move-to-monitor-left "[]"
gsettings set org.gnome.desktop.wm.keybindings move-to-monitor-down "[]"

gsettings set org.gnome.desktop.wm.keybindings show-desktop "['<Super>d']"
gsettings set org.gnome.desktop.wm.keybindings toggle-maximized "['<Primary><Super>Up']"
gsettings set org.gnome.desktop.wm.keybindings minimize "['<Primary><Super>Down']"
gsettings set org.gnome.desktop.wm.keybindings maximize "[]"

安装 gnome 桌面

CentOS6

Systemd 笔记

Wed, 30 Oct 2019 11:32:04 +0800

系统资源(unit)分类

Unit	描述
Service	系统服务，默认
Target	多个 unit 构成的一个组
Device	硬件设备
Mount	文件系统的挂载点
Automount	自动挂载点
Path	文件或路径
Scope	不是由 systemd 启动的外部进程
Slice	进程组
Snapshot	systemd 快照，可以切回某个快照
Socket	进程间通信的 socket
Swap	swap 文件
Timer	定时器

Target 与传统 runlevel 对应关系

传统运行等级	新版 target 命名	链接名
Runlevel 0	runlevel0.target	poweroff.target
Runlevel 1	runlevel1.target	rescue.target
Runlevel 2	runlevel2.target	multi-user.target
Runlevel 3	runlevel3.target	multi-user.target
Runlevel 4	runlevel4.target	multi-user.target
Runlevel 5	runlevel5.target	graphical.target
Runlevel 6	runlevel6.target	reboot.target

systemctl 命令

查看版本
1

systemctl --version

系统操作

systemctl reboot # 重启
systemctl poweroff # 关闭系统，切断电源
systemctl halt # 停止 CPU 工作
systemctl suspend # 暂停系统
systemctl hibernate # 让系统进入休眠状态
systemctl hybrid-sleep # 让系统进入交互式休眠状态
systemctl rescue # 启动进入救援状态(单用户状态)
systemctl status # 显示系统状态

查看全部 Unit

systemctl list-unit-files # 列出所有 Unit 配置文件
# enabled 已建立启动链接
# disabled 没建立启动链接
# static 该配置文件没有[Install]部分，无法执行，只能作为其他 Unit 配置文件的依赖
# masked 该配置文件被禁止建立启动链接
systemctl list-unit-files --type=service # 列出指定类型的 Unit 配置文件
systemctl list-units # 列出正在运行的 Unit
systemctl list-units --all # 列出所有 Unit，包括没有找到配置文件的或者启动失败的
systemctl list-units --all --state=inactive # 列出所有没有运行的 Unit
systemctl list-units --failed # 列出所有加载失败的 Unit
systemctl list-units --type=service # 列出所有正在运行的、类型为 service 的 Unit

查看一个 Unit

systemctl list-dependencies nginx.service # 显示一个 Unit 的所有依赖
systemctl list-dependencies --all nginx.service # 显示一个 Unit 的所有依赖，展开 target
systemctl cat nginx.service # 查看一个 Unit 配置文件
systemctl show httpd.service # 显示一个 Unit 的所有底层参数
systemctl show -p CPUShares httpd.service # 显示一个 Unit 的指定属性的值
systemctl status nginx.service # 显示单个 Unit 的状态
systemctl -H root@ssh_server status nginx.service # 显示远程主机的某个 Unit 的状态 (ssh 连接)
systemctl is-active nginx.service # 显示某个 Unit 是否正在运行
systemctl is-failed nginx.service # 显示某个 Unit 是否处于启动失败状态
systemctl is-enabled nginx.service # 显示某个 Unit 服务是否建立了启动链接

操作一个 Unit

systemctl reload apache.service # 重新加载一个服务的配置文件
systemctl set-property httpd.service CPUShares=500 # 设置一个服务的指定属性
systemctl start apache.service # 立即启动一个服务
systemctl stop apache.service # 立即停止一个服务
systemctl restart apache.service # 重启一个服务
systemctl kill apache.service # 杀死一个服务的所有子进程
systemctl enable nginx.service # 建立启动链接，激活开机启动
systemctl disable nginx.service # 删除启动链接，取消开机启动

重新加载全部修改过的 Unit 配置文件
1

systemctl daemon-reload

systemd-analyze 命令

查看启动耗时
1

systemd-analyze
查看每个服务的启动耗时
1

systemd-analyze blame
显示瀑布状的启动过程流
1

systemd-analyze critical-chain

显示指定服务的启动流

`1`	`systemd-analyze critical-chain atd.service`

journalctl 命令

查看所有日志(默认只保存本次启动的日志)
1

journalctl
查看内核日志(不显示应用日志)
1

journalctl -k

查看系统启动日志

1
2
3

journalctl -b # 本次启动的日志
journalctl -b -0 # 本次启动的日志
journalctl -b -1 # 查看上一次启动的日志(需更改设置)

查看指定时间的日志

journalctl --since="2012-10-30 18:17:16"
journalctl --since "20 min ago"
journalctl --since yesterday
journalctl --since "2018-11-11" --until "2019-01-01 01:00"
journalctl --since 09:00 --until "1 hour ago"

显示尾部的最新日志

1
2

journalctl -n # 最近 10 行
journalctl -n 20 # 最近 20 行日志

实时滚动显示最新日志
1

journalctl -f
查看指定服务的日志
1

journalctl /usr/lib/systemd/systemd
查看指定进程的日志
1

journalctl _PID=1
查看某个路径的脚本的日志
1

journalctl /usr/bin/bash
查看指定用户的日志
1

journalctl _UID=33 --since today

查看某个 Unit 的日志

1
2

journalctl -u nginx.service
journalctl -u nginx.service --since today

实时滚动显示某个 Unit 的最新日志
1

journalctl -u nginx.service -f

合并显示多个 Unit 的日志

`1`	`journalctl -u nginx.service -u php-fpm.service --since today`

查看指定优先级(及其以上级别)的日志，共有8级
- 0: emerg
- 1: alert
- 2: crit
- 3: err
- 4: warning
- 5: notice
- 6: info
- 7: debug
1

journalctl -p err -b
日志默认分页输出，–no-pager 改为正常的标准输出
1

journalctl --no-pager

以 JSON 格式(单行)输出

`1`	`journalctl -b -u nginx.service -o json`

以 JSON 格式(多行)输出，可读性更好

`1`	`journalctl -b -u nginx.serviceqq -o json-pretty`

显示日志占据的硬盘空间
1

journalctl --disk-usage
指定日志文件占据的最大空间
1

journalctl --vacuum-size=1G
指定日志文件保存多久
1

journalctl --vacuum-time=1years

其他相似命令

hostnamectl
localectl
timedatectl
loginctl

Unit 配置文件

[Unit]

Description: 简短描述
Documentation: 文档地址
Requires: 当前 Unit 依赖的其他 Unit，如果它们没有运行，当前 Unit 会启动失败
Wants: 与当前 Unit 配合的其他 Unit，如果它们没有运行，当前 Unit 不会启动失败
BindsTo: 与Requires类似，它指定的 Unit 如果退出，会导致当前 Unit 停止运行
Before: 如果该字段指定的 Unit 也要启动，那么必须在当前 Unit 之后启动
After: 如果该字段指定的 Unit 也要启动，那么必须在当前 Unit 之前启动
Conflicts: 这里指定的 Unit 不能与当前 Unit 同时运行
Condition…: 当前 Unit 运行必须满足的条件，否则不会运行
Assert…: 当前 Unit 运行必须满足的条件，否则会报启动失败

[Service]

WorkingDirectory: 设置进程的工作目录
- 特殊值 “~” 表示 User= 用户的家目录
- 设为一个以 RootDirectory= 为基准的绝对路径
  - 例如当 RootDirectory=/sysroot 并且 WorkingDirectory=/work/dir 时，实际的工作目录将是 /sysroot/work/dir
- 当 systemd 作为系统实例运行时，此选项的默认值是 /
- 当 systemd 作为用户实例运行时，此选项的默认值是对应用户的家目录
- 给目录加上 “-” 前缀，表示即使此目录不存在，也不算致命错误
- 未设置 RootDirectory=/RootImage= 选项，那么为 WorkingDirectory= 设置的绝对路径将以主机(或容器)的根目录(也就是运行 systemd 的系统根目录)为基准
RootDirectory：设置以 chroot(2) 方式执行进程时的根目录
- 必须设为一个以主机(或容器)的根目录(也就是运行 systemd 的系统根目录)为基准的绝对路径
- 设置了此选项，必须确保进程及其辅助文件在 chroot() 监狱中确实可用
User/Group: 设置进程在执行时使用的用户与组
TimeoutSec: 定义 Systemd 停止当前服务之前等待的秒数
Environment: 指定环境变量
EnvironmentFile: 环境参数文件，内部 key=value 格式，在当前文件中使用 $key 获取 value
ExecStart: 启动时执行的命令
ExecReload: 重启服务时执行的命令
ExecStop: 停止服务时执行的命令
ExecStartPre: 启动服务之前执行的命令
ExecStartPost: 启动服务之后执行的命令
ExecStopPost: 停止服务之后执行的命令
“-” 配置项前的减号"-“表示"抑制错误”，发生错误时不影响后续命令执行
Type
- simple: 默认，ExecStart 启动的进程就是主进程
- forking: ExecStart 启动时 fork 子进程，之后该父进程退出，子进程成为主进程
- oneshot: 类似 Simple，只执行一次
- dbus: 类似 Simple，等待 D-Bus 信号启动
- notify: 类似 Simple，启动完成后发出通知信号
- idle: 类似 Simple，等到其他任务执行完成后才会启动该服务
RemainAfterExit=yes: 进程退出后服务保持运行
KillMode
- control-group: 默认，杀掉所有子进程
- process: 只杀主进程
- mixed: 主进程收到 SIGTERM 信号，子进程收到 SIGKILL 信号
- none: 不杀进程，只执行服务的 stop 命令
Restart
- no: 默认，退出后不重启
- on-success: 正常退出时重启
- on-failure: 非正常退出、被信号终止或超时重启
- on-abnormal: 被信号终止和超时重启
- on-abort: 收到没有捕捉到的信号终止时重启
- on-watchdog: 超时退出，才会重启
- always: 不管是什么退出原因，总是重启
RestartSec: 系统重启前等待的秒数

[Install]

WantedBy: 它的值是一个或多个 Target，当前 Unit 激活时(enable)符号链接会放入/etc/systemd/system目录下面以 Target 名 + .wants 后缀构成的子目录中
RequiredBy: 它的值是一个或多个 Target，当前 Unit 激活时，符号链接会放入/etc/systemd/system目录下面以 Target 名 + .required 后缀构成的子目录中
Alias: 当前 Unit 可用于启动的别名
Also: 当前 Unit 激活(enable)时，会被同时激活的其他 Unit

Unit 配置文件占位符

占位符	作用	描述
%n	完整的服务名称
%N	不转义的完整服务名称
%p	前缀名	对于实例化的服务，这是前@前面的部分，对于其它的服务，是指去掉后缀(即类型)的部分
%P	不转义的前缀名
%i	实例名称	对于实例化的服务，这是指 @和后缀之间的部分
%I	不转义的实例名
%f	不转义的文件名	这可以不转义的实例名(如果可用)或前缀名，带有/前缀
%c	服务的控制组路径
%r	systemd 的根控制组路径
%R	systemd 的根控制组路径的父目录
%t	运行时 Socket 目录	这可以是 /run (系统管理器) 或 $XDG_RUNTIME_DIR (用户管理器)
%u	用户名	这是服务配置的用户或systemd运行实例的用户(如果没有配置的话)
%U	用户 UID	这是服务配置的用户UID或systemd运行实例的用户UID(如果没有配置的话）
%h	用户家目录	这是服务配置的用户家目录或systemd运行实例的用户家目录(如果没有配置的话)
%s	用户Shell	这是服务配置的用户shell或systemd运行实例的用户shell(如果没有配置的话)
%m	机器 ID	运行系统的机器 ID，格式是一个字符串
%b	启动 ID	运行系统的启动 ID，格式是一个字符串
%H	主机名	运行系统的主机名
%%	转义 %	一个单百分号

Shell 笔记

Wed, 30 Oct 2019 11:29:31 +0800

BASH 脚本的 $ 参数

$$ #shell 本身 PID
$! #shell 最后执行的后台PID
$? #shell 结束代码
$* #参数列表 “$1 $2 … $n”
$@ #参数列表 “$1” “$2” … “$n”
$# #参数个数
$0 #shell 脚本名
$1…$n #shell 位置参数

BASH 字符串处理

# 字符串 str 长度
${#str}
expr length "$str"

# 子串 substr 出现位置，找不到返回 0
expr index "$str" "$substr"

# 子串 substr 开头匹配，找不到返回 0
expr match "$str" "$substr"

# 字符串 str 抽取左起位置 pos 后 长度 len 的子串
${str:$pos}
${str:$pos:$len}
expr substr "$str" $pos $len

# 字符串 str 抽取右起位置 pos 前的子串
${str: -pos}
${str:(pos)}

# 正则 pat 抽取字符串 str 开头子串
expr match "$str" "\($pat\)"
expr "$str" : "\($pat\)"

# 正则 pat 抽取字符串 str 结尾子串
expr match "$str" ".*\($pat\)"
expr "$str" : ".*\($pat\)"

# 删除字符串 str 开头的最短子串 sub
${str#$sub}

# 删除字符串 str 开头的最长子串 sub
${str##$sub}

# 删除字符串 str 结尾的最短子串 sub
${str%$sub}

# 删除字符串 str 结尾的最长子串 sub
${str%%$sub}

# 替换字符串 str 第一个子串 sub 为字符串 rep
${str/"$sub"/"$rep"}

# 替换字符串 str 所有子串 sub 为字符串 rep
${str//"$sub"/"$rep"}

# 替换字符串 str 开头的子串 sub 为字符串 rep
${str/#"$sub"/"$rep"}

# 替换字符串 str 结尾的子串 sub 为字符串 rep
${str/%"$sub"/"$rep"}

# var为空或没有设置，代入word，否则代入var值
${var:-word}

# 如果var已经被设置且不为空，则代入它的值，否则代入word，并且在后面var始终为word的值。位置参量不能用这种方式赋值。
${variable:=word}

# 如果变量var已被设置且值为非空，代入word值，否则什么也不代入
${variable:+word}

# 如果变量var已被设置值且为非空，就代入它的值，否则输出word并从shell中退出，如果有省略了word,就会显示信息：parameter null or not set.
${var:?word}

BASH 数组

# 定义数组，有三种方式
declare -a array
array=()
array[0]='value0'

# 打印数组第一个元素
echo ${array[0]}

# 打印数组所有元素，有两种方式
echo ${array[@]}
echo ${array[*]}

# 打印数组所有索引，有两种方式
echo ${!array[@]}
echo ${!array[*]}

# 打印数组的元素个数，有两种方式
echo ${#array[@]}
echo ${#array[*]}

# 移除数组中索引为2的元素
unset array[2]

# 添加id为3的元素
array[3]=""

BASH 字典

# 定义字典
declare -A dict

# 新增或修改键 k1 的值
dict['k1']='v1'

# 打印对应键的值
echo $['k1']

# 打印字典所有元素，有两种方式
echo ${dict[@]}
echo ${dict[*]}

# 打印字典所有键，有两种方式
echo ${!dict[@]}
echo ${!dict[*]}

# 打印字典的元素个数，有两种方式
echo ${#dict[@]}
echo ${#dict[*]}

# 移除键 k1
unset dict['k1']

终端环境变量 PS1 参数

\d 日期，格式为weekday month date，例如：“Mon Aug 1”
\H 完整的主机名称
\h 仅取主机的第一个名字
\t 显示时间为24小时格式，如 HH:MM:SS
\T 显示时间为12小时格式
\A 显示时间为24小时格式 HH:MM
\u 当前用户的账号名称
\v BASH的版本信息
\w 完整的工作目录名称
\W 利用basename取得工作目录名称，所以只会列出最后一个目录
# 下达的第几个命令
$ 提示字符，root 下提示符是 #，普通用户是 $
\[\e[i;j;km\] \[\e[0m\] 建议PS1使用这种颜色控制字符

终端颜色 \033[F;Bm 控制编码

F30 B40 黑色
F31 B41 红色
F32 B42 绿色
F33 B43 黄色
F34 B44 蓝色
F35 B45 紫红色
F36 B46 青蓝色
F37 B47 白色

终端光标位置

\033[K 清除从光标到行尾的内容
\033[s 保存光标位置
\033[u 恢复光标位置
\033[0m 关闭所有属性
\033[1m 设置高亮度
\033[4m 下划线
\033[5m 闪烁
\033[7m 反显
\033[8m 消隐
\033[nA 光标上移n行
\033[nB 光标下移n行
\033[nC 光标右移n行
\033[nD 光标左移n行
\033[2J 清屏
\033[?25l 隐藏光标
\033[?25h 显示光标
\033[y;xH 设置光标位置

解析迅雷链接

echo 迅雷专用地址(去掉头 thunder://)|base64 -d
去掉头部 AA 和尾部 ZZ

expect 自动输入密码

expect<<END
    spawn ssh $DEST_HOST "REMOTE_COMMAND"
    expect {
        "*yes/no*" { send "yes\r"; exp_continue }
        "*assword*" { send "password\r" }
    }
    expect eof
END

普通用户(username)免密 sudo

echo "username ALL = (root) NOPASSWD:ALL" >> /etc/sudoers
# 或
echo "cephdeploy ALL = (root) NOPASSWD:ALL" > /etc/sudoers.d/username
chmod 0400 /etc/sudoers.d/username

用户登陆操作记录

Httpd 笔记

Wed, 30 Oct 2019 11:28:36 +0800

CentOS7 安装

`1`	`yum install httpd`

支持 SVN

安装 svn 模块
1

yum install mod_dav_svn subversion

建立 svn 库 test_prj

1
2

mkdir -p /mnt/vdb1/svn_repos/test_prj
svnadmin create /mnt/vdb1/svn_repos/test_prj

编辑 test_prj 下 conf 目录中的 authz 和 passwd 文件，配置权限

启动 svn

1
2
3

svnserve -d -r /mnt/vdb1/svn_repos/
#客户端测试
svn checkout svn://{ip}/test_prj

编辑 /etc/httpd/conf.modules.d/10-subversion.conf，追加如下

<Location /test_prj/>
    DAV svn
    SVNListParentPath off
    SVNPath /mnt/vdb1/svn_repos/test_prj/
    #Satisfy Any
    AuthzSVNAccessFile /mnt/vdb1/svn_repos/test_prj/conf/authz
    Require valid-user
</Location>

增加 apache 用户读写 test_prj 目录的权限

1
2

usermod -a -G root apache
chmod -R g+w /mnt/vdb1/svn_repos/

重启 httpd 服务
1

systemctl restart httpd

Basic HTTP 认证

生成密码文件(用户名是admin，密码是123456)

`1`	`htpasswd -c -m /etc/httpd/httpd.auth admin # 按提示输入密码`

在 Location 中配置如下

<Location />
    AuthType Basic
    AuthName "提示信息"
    AuthUserFile /etc/httpd/httpd.auth
</Location>

Keepalived 基础

Wed, 30 Oct 2019 11:26:18 +0800

VRRP 简介

VRRP通过一种竞选协议动态地将路由任务交给LAN中虚拟路由器中的某台VRRP路由器
VRRP路由器是一台实现了VRRP协议(运行VRRPD程序)的物理路由器
虚拟路由器是由多台VRRP物理路由器组成的逻辑路由器，对外看起来就像一台路由器
虚拟路由器中，只有一台MASTER物理路由器工作，其他都是BACKUP
MASTER路由器一直发送VRRP广播，MASTER不可用后(BACKUP收不到广播)，其余BACKUP会根据优先级竞选出一台MASTER
MASTER拥有虚拟路由器IP地址及其它路由配置

全局配置

全局定义

global_defs {
    notification_email {
        admin@exammple.com #keepalived发生事件时通知该email
        ...
    }
    notification_email_from admin@example.com
    smtp_server 127.0.0.1 #smtp服务器
    smtp_connect_timeout 30
    router_id my_hostname #机器标识
    default_interface eth0 #设置静态地址默认绑定的端口，默认是eth0
    vrrp_mcast_group4 #VRRP 的组播IPV4地址，默认224.0.0.18
    vrrp_mcast_group6 #VRRP 的组播IPV4地址，默认ff02::12
    vrrp_version 2|3 #设置默认的VRRP版本，默认是2
    script_user <username> [groupname] #设置运行脚本默认用户和组，如果没有指定，则默认用户为keepalived_script(需要该用户存在)，否则为root用户，默认groupname同username
    enable_script_security #如果脚本路径的任一部分对于非root用户来说，都具有可写权限，则不会以root身份运行脚本
}

静态地址和路由，不随 vrrpd instance 的开/关变化

static_ipaddress {
    $ip/$mask dev $interface #ip命令规则
    ...
}
static_routes {
    $dest_ip/$dest_mask via $dest_gateway dev $interface #ip命令规则
    ...
}

一般服务器都配置了网络信息，所以通常无需配置静态地址和路由，如果不指定 dev，则使用 default_interface

VRRPD 配置

VRRP检查脚本(vrrp_script)

vrrp_script <SCRIPT_NAME> {
    scrip "/path/to/script-file" #可执行的脚本的绝对路径
    interval <INTEGER> #脚本执行的间隔，单位是秒，默认为1s
    timeout <INTEGER> #指定在多少秒后，脚本被认为执行失败
    weight <-254 --- 254> #调整优先级，默认为2
    #如果脚本执行成功(退出状态码为0)，weight大于0，则priority增加
    #如果脚本执行失败(退出状态码为非0)，weight小于0，则priority减少
    #其他情况下，priority不变
    rise <INTEGER> #执行成功多少次才认为是成功
    fall <INTEGER> #执行失败多少次才认为失败
    user <USERNAME> [GROUPNAME] #运行脚本的用户和组
    init_fail #假设脚本初始状态是失败状态
}

VRRP同步组(sync group)

vrrp_sync_group VG_1 {
    group {
        inside_network #实例名
        ...
    }
    notify_master /path/to/master.sh #切换到master时执行该脚本
    notify_backup /path/to/backup.sh #切换到backup时执行该脚本
    notify_fault  /path/to/fault.sh #出错时执行该脚本
    notify /path/to/notify.sh #该脚本会在notify_*脚本后执行，默认3个参数:$1(GROUP|INSTANCE),$2(group或instance名字),$3(MASTER|BACKUP|FAULT)
    smtp_alert #发送邮件通知
}

VRRP实例(instance)配置

vrrp_instance inside_network {
    state MASTER #初始状态
    interface eth0 #绑定的网卡
    dont_track_primary #忽略VRRP的interface错误(默认不设置)
    track_interface { #这里的任一网卡出现问题，都会进入FAULT状态
        eth0
        eth1 weight <-254 - 254>
        ...
    }
    track_script { #这里的任一脚本返回码非0，都会进入FAULT状态
        <SCRIPT_NAME>
        <SCRIPT_NAME> weight <-254-254>
        ...
    }
    mcast_src_ip <IPADDR> #多播包发送源地址，默认网卡当前ip
    garp_master_delay 10 #切换到MASTER后，延迟arp请求
    virtual_router_id 1 #VRID标记(0..255)
    priority 100 #高优先级竞选为MASTER，MASTER高于BACKUP至少50
    advert_int 1 #检查间隔，默认1秒
    authentication {
        auth_type PASS #密码认证
        auth_pass 1111
    }
    virtual_ipaddress { #漂移地址，符合ip命令规则
        $vip/$vmask dev $interface
        ...
    }
    virtual_routes { #随地址一同漂移的路由，符合ip命令规则
        $dest_ip/$dest_mask via $dest_gateway dev $interface
        ...
    }
    nopreempt #BACKUP配置，且优先级比其他高
    preempt_delay 300 #抢占延迟，默认5分钟
    debug #Debug级别
    lvs_sync_daemon_interface #lvn syncd绑定的网卡
}

LVS配置(不涉及lvs时无需下面配置)

虚拟主机组

virtual_server_group <STRING> {
    #VIP VPORT
    <IPADDR> <PORT>
    <IPADDR> <PORT>
    ...
    fwmark <INT>
}

虚拟主机3中配置

#virtual_server IP port
#virtual_server fwmark int
#virtual_server group string
virtual_server 192.168.1.229 80 { #配置一个virtual server
    delay_loop 3 #每隔3秒检查一次RealServer是否可用
    lb_algo rr|wrr|lc|wlc|lblc|sh|dh #LVS调度算法
    lb_kind NAT|DR|TUN #LVS集群模式
    persistence_timeout 120 #同一个客户端IP在120秒内分到同一个RealServer
    persistence_granularity <NETMASK> #会话保持粒度，默认255.255.255.255，即根据每个客户端IP做会话保持
    protocol TCP #协议
    ha_suspend
    virtualhost <string> #HTTP_GET健康检查时使用的HOST}
    sorry_server <IPADDR> <PORT> #所有RS失效后连接该备用机
    real_server <IPADDR> <PORT> {
        weight 1 #默认1,0失效
        inhibit_on_failure #健康检查失败后将weight置0,不从IPVS中删除
        notify_up <STRING> #检测到service up后执行的脚本
        notify_down <STRING> #检测到service down后执行的脚本
        #检查方式，HTTP_GET|SSL_GET|TCP_CHECK
        HTTP_GET|SSL_GET {
            url {
                path /
                digest <STRING> #SSL检查返回的摘要信息
                status_code 200 #HTTP检查返回的状态码
            }
            connect_port 80 #检查端口
            bindto <IPADDR> #使用该地址发送健康检查
            connect_timeout #连接超时时间
            nb_get_retry 3 #重连次数
            delay_before_retry 2 #重连间隔(秒)
        }
        TCP_CHECK {
            connect_port 80
            bindto <IPADDR>
            connect_timeout 4
        }
    }
}

配置日志文件

修改服务启动参数

1
2

sed -i '/^KEEPALIVED_OPTIONS/d' /etc/sysconfig/keepalived
echo 'KEEPALIVED_OPTIONS="-D -d -S 2"' >> /etc/sysconfig/keepalived

修改 rsyslog 配置文件

`1`	`echo "local2.* /var/log/keepalived.log" >> /etc/rsyslog.conf`

重启 rsyslog 服务
1

systemctl restart rsyslog
重启 keepalived 服务
1

systemctl restart keepalived

其他参考

详细解释

Keepalived 笔记

Wed, 30 Oct 2019 11:22:03 +0800

keepalive 服务器

环境
- 应用服务器
  - ka101: 10.1.1.101
  - ka102: 10.1.1.102
- 虚拟地址
  - ip: 10.1.1.100
安装 keepalived
1

yum install keepalived

配置虚拟 ip

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
ip addr add 10.1.1.100/32 brd 10.1.1.100 dev lo
ip route add 10.1.1.100 dev lo

两个 haproxy 不抢占

MASTER/BACKUP 完整配置

global_defs {
    router_id ka101 #BACKUP 这里是 ka102
    script_user root
    enable_script_security
}
vrrp_script chk_haproxy {
    script "/usr/bin/systemctl status haproxy"
    interval 2
    weight 0
    fall 2
    rise 2
}
vrrp_instance VI_1 {
    state BACKUP #MASTER 和 BACKUP 这里都是 BACKUP
    virtual_router_id 1
    priority 150 #BACKUP 这里是 100
    advert_int 2
    nopreempt #BACKUP 优先级低，需注释此行
    interface eth0
    track_script {
        chk_haproxy
    }
    authentication {
        auth_type PASS
        auth_pass 1011100
    }
    virtual_ipaddress {
        10.1.1.100/24 dev eth0
    }
}

两个 LVS-DR 调度器不抢占均衡后端 MySQL 和 Ceph 负载

环境

Kubeadm

Wed, 30 Oct 2019 11:19:06 +0800

kubeadm 安装 kubernetes

全部服务器配置

IP 地址	主机名	操作系统	内存	swap	硬盘	Internet	firewalld	selinux	/etc/hosts 增加行
10.0.2.80	master80	CentOS7	4GB	关闭	20GB	可达	关闭	关闭	127.0.0.1 master80
10.0.2.81	node81	CentOS7	2GB	关闭	20GB	可达	关闭	关闭	127.0.0.1 node81
10.0.2.82	node82	CentOS7	2GB	关闭	20GB	可达	关闭	关闭	127.0.0.1 node82

确认各服务器工作网卡的 MAC 和 UUID 均不相同

Ovirt 安装

Wed, 30 Oct 2019 11:16:47 +0800

版本

Ovirt 4.1.7

操作系统初始配置

角色	主机名	CPU	内存	IP	版本	/etc/hosts 追加行
管理节点	engine	多核	2G	10.0.16.160	CentOS 7.4 Minimal	10.0.16.160 engine engine.ovirt
						10.0.16.161 host161
计算节点	host161	多核	4G	10.0.16.161	CentOS 7.4 Minimal	10.0.16.161 host161

建议保留操作系统自带的 NetworkManager 和 SELinux 服务

CentOS7 安装 Mysql Galera 集群

Wed, 30 Oct 2019 11:13:44 +0800

环境

cpu	mem	hostname	public ip	cluster ip	CentOS	MySQL
双核	2GB	mysql_1	10.0.0.231	10.10.10.1	7.5	5.7
双核	2GB	mysql_2	10.0.0.232	10.10.10.2	7.5	5.7
双核	2GB	mysql_3	10.0.0.233	10.10.10.3	7.5	5.7

创建 galera yum 源文件

cat > /etc/yum.repos.d/galera.repo <<-END
[galera]
name = Galera
baseurl = http://releases.galeracluster.com/galera-3/centos/7/x86_64/
gpgkey = http://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1

[mysql-wsrep]
name = MySQL-wsrep
baseurl = http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/
gpgkey = http://releases.galeracluster.com/GPG-KEY-galeracluster.com
gpgcheck = 1
END

安装

`1`	`yum install galera-3 mysql-wsrep-5.7 rsync`

修改 /etc/my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
binlog-format=ROW
bind-address=0.0.0.0
default-storage-engine=innodb
innodb-autoinc-lock-mode=2
innodb-flush-log-at-trx-commit=0
innodb-buffer-pool-size=1024M #物理内存一半
wsrep-provider=/usr/lib64/galera-3/libgalera_smm.so
wsrep-provider-options="gcache.dir=/var/lib/gcache;gcache.size=1G;gcache.recover=yes;pc.recovery=TRUE"
wsrep-cluster-name="mysql_galera_cluster" #集群名字
wsrep-cluster-address="gcomm://10.10.10.1,10.10.10.2,10.10.10.3"
wsrep-sst-method=rsync
wsrep-node-name=mysql_1 #当前节点名字
wsrep-node-address="10.10.10.1" #当前节点 cluster ip
#wsrep-auto-increment-control=OFF #只通过一个节点做增删改时使用

[mysql_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

!includedir /etc/my.cnf.d/

随机选择一个节点，使用专用脚本 mysqld_bootstrap 初始化集群

1
2
3

/usr/bin/mysqld_bootstrap
# 该命令会启动本机的 mysqld 服务
systemctl status mysqld

查找密码，修改初始密码

grep -i password /var/log/messages
# 记录输出的密码
mysqladmin -uroot -p password 'P@sswo2d'
# 根据提示输入上一步输出的密码

在其他节点上启动 mysqld 服务

`1`	`systemctl start mysqld`

查看集群节点数量

`1`	`show status like 'wsrep_cluster_size';`

ssl 加密同步数据(不推荐，存在性能损失)

生成证书

CentOS7 静默安装 Oracle12c

Wed, 30 Oct 2019 11:11:13 +0800

环境

CentOS7.5 最小安装
数据库软件
- linuxx64_12201_database.zip

操作系统配置

关闭 SELinux

`1`	`sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config`

关闭防火墙

1
2

systemctl disable firewalld
systemctl stop firewalld

禁用 NetworkManager

1
2

systemctl disable NetworkManager
systemctl stop NetworkManager

重启操作系统
1

reboot

安装依赖

安装可能用到的工具

yum install epel-release
yum clean all
yum makecache fast
yum install vim unzip rlwrap

安装 oracle 需要的包

yum install binutils compat-libcap1 compat-libstdc++-33 \
compat-libstdc++-33*i686 gcc gcc-c++ glibc glibc*.i686 \
glibc-devel glibc-devel*.i686 ksh libaio libaio*.i686 libaio-devel \
libgcc libgcc*.i686 libstdc++ libstdc++*.i686 libstdc++-devel \
libXi libXi*.i686 libXtst libXtst*.i686 make sysstat unixODBC \
unixODBC*.i686 unixODBC-devel unixODBC-devel*.i686

配置安装环境

创建 oracle 用户

groupadd oinstall
groupadd dba
groupadd oper
useradd -g oinstall -G dba,oper oracle

创建 oracle 安装目录

mkdir -p /opt/oracle/app/product/12.2.0
mkdir -p /opt/oracle/app/oradata
mkdir -p /opt/oracle/app/fast_recovery_area
chown -R oracle:oinstall /opt/oracle
chmod -R 775 /opt/oracle

修改 sysctl.conf

cat << EOF >> /etc/sysctl.conf
fs.aio-max-nr = 1048576
fs.file-max = 6815744
#物理内存一半和4G中的较大者，当前服务器16G
kernel.shmmax = 8589934592
#shmmax / 4k (getconf PAGESIZE)
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.sem = 250 32000 200 200
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
net.core.rmem_max = 4194304
EOF
sysctl -p

修改 limits.conf

cat << EOF >> /etc/security/limits.conf
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
EOF

修改 login

cat << EOF >> /etc/pam.d/login
session required  /lib64/security/pam_limits.so
session required pam_limits.so
EOF

修改 profile

cat << EOF >> /etc/profile
if [ \$USER = "oracle" ] ; then
    if [ \$SHELL = "/bin/ksh" ]; then
        ulimit -p 16384
        ulimit -n 65536
    else
        ulimit -u 16384 -n 65536
    fi
    umask 022
fi
EOF

修改 oracle 用户的 .bash_profile

cat << EOF >> /home/oracle/.bash_profile
export ORACLE_BASE=/opt/oracle/app
export ORACLE_HOME=\$ORACLE_BASE/product/12.2.0
export ORACLE_SID=orcl
export PATH=\$PATH:\$ORACLE_HOME/bin
#export NLS_LANG="SIMPLIFIED CHINESE_CHINA.AL32UTF8"
#export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK"
EOF

安装数据库

上传数据库软件到 /root 下，解压

1
2

unzip linuxx64_12201_database.zip -d /home/oracle/
chown -R oracle.oinstall /home/oracle/database

切换到 oracle 用户，后续操作都在该 oracle 用户下执行
1

su - oracle

创建 response 文件

1
2

cd /home/oracle
cp database/response/*.rsp ./

修改 db_install.rsp

sed -i \
    -e '/^oracle\.install\.option=/s#=.*$#=INSTALL_DB_SWONLY#' \
    -e '/^UNIX_GROUP_NAME=/s#=.*$#=oinstall#' \
    -e '/^INVENTORY_LOCATION=/s#=.*$#=/opt/oracle/oraInventory#' \
    -e '/^ORACLE_HOME=/s#=.*$#=/opt/oracle/app/product/12.2.0#' \
    -e '/^ORACLE_BASE=/s#=.*$#=/opt/oracle/app#' \
    -e '/^oracle\.install\.db\.InstallEdition=/s#=.*$#=EE#' \
    -e '/^oracle\.install\.db\.OSDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSOPER_GROUP=/s#=.*$#=oper#' \
    -e '/^oracle\.install\.db\.OSBACKUPDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSDGDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSKMDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle\.install\.db\.OSRACDBA_GROUP=/s#=.*$#=dba#' \
    -e '/^oracle.install.db.config.starterdb.type=/s#=.*$#=GENERAL_PURPOSE#' \
    -e '/^oracle\.install\.db\.config\.starterdb\.characterSet=/s#=.*$#=ZHS16GBK#' \
    -e '/^DECLINE_SECURITY_UPDATES=/s#=.*$#=true#' \
    /home/oracle/db_install.rsp

无需修改 netca.rsp

修改 dbca.rsp

sed -i \
    -e '/^gdbName=/s#=.*$#=orcl#' \
    -e '/^sid=/s#=.*$#=orcl#' \
    -e '/^createAsContainerDatabase=/s#=.*$#=true#' \
    -e '/^numberOfPDBs=/s#=.*$#=1#' \
    -e '/^pdbName=/s#=.*$#=pdborcl#' \
    -e '/^templateName=/s#=.*$#=General_Purpose.dbc#' \
    -e '/^pdbAdminPassword=/s#=.*$#=P@sswo2d#' \
    -e '/^sysPassword=/s#=.*$#=P@sswo2d#' \
    -e '/^systemPassword=/s#=.*$#=P@sswo2d#' \
    /home/oracle/dbca.rsp

安装 oracle 软件

cd /home/oracle/database
./runInstaller -silent -responseFile /home/oracle/db_install.rsp -ignorePrereq
#安装成功后，系统提示需要在 root 下执行两个脚本
/opt/oracle/oraInventory/orainstRoot.sh
/opt/oracle/app/product/12.2.0/root.sh

配置监听

1
2
3

netca /silent /responseFile /home/oracle/netca.rsp
#配置成功后，监听启动，查看监听状态
lsnrctl status

创建数据库

1
2

dbca -silent -createDatabase -responseFile /home/oracle/dbca.rsp
#查看屏幕输出的创建进度

简单使用

登陆数据库，切换到 pdb 数据库

[oracle@fpManager2 ~]$ rlwrap sqlplus / as sysdba
SQL*Plus: Release 12.2.0.1.0 Production on 星期一 6月 25 14:41:16 2018
Copyright (c) 1982, 2016, Oracle.  All rights reserved.
连接到:
Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
SQL> show con_name
CON_NAME
------------------------------
CDB$ROOT
SQL> alter session set container=pdborcl;
会话已更改。
SQL> show con_name
CON_NAME
------------------------------
PDBORCL
SQL> select file_name from dba_data_files;
FILE_NAME
--------------------------------------------------------------------------------
/opt/oracle/app/oradata/orcl/pdborcl/system01.dbf
/opt/oracle/app/oradata/orcl/pdborcl/sysaux01.dbf
/opt/oracle/app/oradata/orcl/pdborcl/undotbs01.dbf
/opt/oracle/app/oradata/orcl/pdborcl/users01.dbf
SQL>

RockyLinux 安装 Ceph

Wed, 30 Oct 2019 11:09:30 +0800

环境

操作系统	主机名	公用地址	集群地址	数据裸盘	ceph 版本
Rocky Linux 8.4	ceph41	10.0.4.41	192.168.4.41	/dev/sdb, /dev/sdc	15.2.14
Rocky Linux 8.4	ceph42	10.0.4.42	192.168.4.42	/dev/sdb, /dev/sdc	15.2.14
Rocky Linux 8.4	ceph43	10.0.4.43	192.168.4.43	/dev/sdb, /dev/sdc	15.2.14

关闭防火墙，配置 host

在全部节点上执行如下操作

关闭 firewalld 和 SELinux

1
2
3

systemctl stop firewalld
systemctl disable firewalld
sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config # 重启操作系统生效

配置各节点主机名解析

CentOS7 双网卡绑定

Wed, 30 Oct 2019 11:07:30 +0800

bond 概要

什么是 bond

网卡bond是通过把多张网卡绑定为一个逻辑网卡，实现本地网卡的冗余，带宽扩容和负载均衡。在应用部署中是一种常用的技术。

bond的模式种类

Mode=0(balance-rr) 表示负载分担round-robin，和交换机的聚合强制不协商的方式配合
Mode=1(active-backup) 表示主备模式，只有一块网卡是active,另外一块是备的standby
- 如果交换机配的是捆绑，将不能正常工作，因为交换机往两块网卡发包，有一半包是丢弃的
Mode=2(balance-xor) 表示XOR Hash负载分担，和交换机的聚合强制不协商方式配合（需要xmit_hash_policy）
Mode=3(broadcast) 表示所有包从所有interface发出，这个不均衡，只有冗余机制…和交换机的聚合强制不协商方式配合
Mode=4(802.3ad) 表示支持802.3ad协议，和交换机的聚合LACP方式配合（需要xmit_hash_policy）
Mode=5(balance-tlb) 是根据每个slave的负载情况选择slave进行发送，接收时使用当前轮到的slave
Mode=6(balance-alb) 在5的tlb基础上增加了rlb

CentOS7 配置 bond

环境

操作系统 CentOS7.6，禁用 NetworkManager 服务
物理网卡 eth0, eth1 绑定到 bond0
物理网卡 eth2, eth3 绑定到 bond1

网卡 eth0 配置

修改 /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE=Ethernet
BOOTPROTO=none
DEVICE=eth0
ONBOOT=yes
USERCTL=no
SLAVE=yes
MASTER=bond0

网卡 eth1 配置

修改 /etc/sysconfig/network-scripts/ifcfg-eth1

TYPE=Ethernet
BOOTPROTO=none
DEVICE=eth1
ONBOOT=yes
USERCTL=no
SLAVE=yes
MASTER=bond0

网卡 eth2 配置

修改 /etc/sysconfig/network-scripts/ifcfg-eth2

TYPE=Ethernet
BOOTPROTO=none
DEVICE=eth2
ONBOOT=yes
USERCTL=no
SLAVE=yes
MASTER=bond1

网卡 eth3 配置

修改 /etc/sysconfig/network-scripts/ifcfg-eth3

TYPE=Ethernet
BOOTPROTO=none
DEVICE=eth3
ONBOOT=yes
USERCTL=no
SLAVE=yes
MASTER=bond1

增加网卡 bond0 配置

创建 /etc/sysconfig/network-scripts/ifcfg-bond0

TYPE=Ethernet
BOOTPROTO=static
NAME=bond0
DEVICE=bond0
ONBOOT=yes
IPADDR=192.168.1.101
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=114.114.114.114

增加网卡 bond1 配置

创建 /etc/sysconfig/network-scripts/ifcfg-bond1

TYPE=Ethernet
BOOTPROTO=static
NAME=bond0
DEVICE=bond0
ONBOOT=yes
IPADDR=192.168.1.102
NETMASK=255.255.255.0
#GATEWAY=192.168.1.1
#DNS1=114.114.114.114

配置绑定模式

创建 /etc/modprobe.d/bonding.conf，加入以下内容

1
2
3

alias bond0 bonding
alias bond1 bonding
options bonding miimon=100 mode=1

载入 bonding 模块，重启 network 服务

1
2

modprobe bonding
systemctl restart network

查看网卡绑定状态

1
2

cat /proc/net/bonding/bond0
cat /proc/net/bonding/bond1

CentOS8 配置 bond

建立 bond 连接配置文件

`1`	`nmcli c add con-name bond0 type bond ifname bond0 mode active-backup`

增加两个网卡都 bond0

1
2

nmcli c add type bond-slave ifname eth1 master bond0
nmcli c add type bond-slave ifname eth2 master bond0

启动这两个 slave 连接

1
2

nmcli c up bond-slave-eth1
nmcli c up bond-slave-eth2

Mysql 二进制日志

Wed, 30 Oct 2019 11:05:08 +0800

MySQL 5.7 开启 binlog

修改 my.cnf 文件

[mysqld]
log-bin=[/存放目录/]mysql-bin #注意 mysql 可读写“存放目录”，默认数据存放目录
expire-logs-days=7 #保留7天内修改过的 binglog 文件
max-binlog-size=512M #单个 binlog 文件大小上限，默认1G
#指定或忽略要复制的数据库，存在跨库问题
binlog-do-db=db1
binlog-db-db=db2
#binlog-ignore-db=db1
#binlog-ignore-db=db2

常用操作

查看所有 binlog 文件列表
1

show master logs;
查看 master 状态，包含最新 binlog 文件名和 position
1

show master status;
清除过期 binlog 文件，并使用新编号的 binlog 文件开始记录日志
1

flush logs;

删除 binlog 文件

删除旧的 binlog 文件

1
2
3

purge master logs to 'mysql-bin.000573';
purge master logs before '2018-04-18 06:00:00';
purge master logs before DATE_SUB(NOW(), INTERVAL 2 DAY);

清空所有 binlog 文件
1

reset master

使用 mysqlbinlog 命令查看 binlog 文件的内容

使用

# 查看日志
mysqlbinlog [选项] binlog文件名
# 恢复数据
mysqlbinlog [选项] binlog文件名 | mysql -u用户名 -p密码 -D数据库 [-v]

常用选项
- –start-position=128 起始 pos
- –stop-position=256 结束 pos
- –start-datetime=“2018-08-08 00:00:00” 起始时间
- –stop-datetime=“2018-08-09 12:00:00” 结束时间
- –database=db_name 只恢复 db_name 数据库

使用 sql 查看 binlog 文件的内容

查询语句

`1`	`SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];`

选项
- log_name binlog文件名，默认第一个 binlog 文件
- pos 查询起始 pos，默认 log_name 中的第一个 pos
- offset 偏移 pos 个数
- row_count 查询数量

调整 binlog_cache_size

查看当前 binlog_cache_size 大小(byte)，默认 32k
1

show variables like 'binlog_cache_size';

查看当前 binlog_cache_use 和 binlog_cache_disk_use 次数

1
2
3

show status like 'binlog_cache%';
-- binlog_cache_disk_use 使用临时文件写 binlog 文件的次数
-- binlog_cache_use 使用缓存写 binlog 文件的次数

Mysql 缓存

Wed, 30 Oct 2019 11:00:49 +0800

MySQL 超时

connect_timeout 与客户端连接建立超时，默认10秒
interactive_timeout 交互终端超时断开，默认28800秒
wait_timeout 非交互终端超时断开，默认28800秒
net_read_timeout 从客户端读取数据超时，默认30秒
net_write_timeout 向客户端写入数据超时，默认60秒
innodb_lock_wait_timeout 锁等待超时，默认50秒
innodb_rollback_on_timeout 超时后回滚整个事务操作，默认OFF
slave_net_timeout 从库读取binlog失败后，等待指定秒后重新连接主库，默认60秒

查询缓存配置

** MySQL 8.0 已关闭该功能 **

CentOS7 笔记

Wed, 30 Oct 2019 10:58:18 +0800

常用初始配置

系统更新
1

yum update

禁用 firewalld

1
2

systemctl stop firewalld
systemctl disable firewalld

禁用 NetworkManager

1
2

systemctl stop NetworkManager
systemctl disable NetworkManager

禁用 postfix

1
2

systemctl stop postfix
systemctl disable postfix

如果不用 NFS，可以禁用 rpcbind

1
2

systemctl stop rpcbind
systemctl disable rpcbind

禁用 selinux，可能需要重启操作系统

1
2
3

sed -i '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config
setenforce 0
# 可能需要重启

配置网卡静态地址

cd /etc/sysconfig/network-scripts
sed -i -e '/^BOOTPROTO/d' -e '/^ONBOOT/d' \
    -e '/^IPADDR/d' -e '/^NETMASK/d' -e '/^PREFIX/d' \
    -e '/^GATEWAY/d' -e '/^DNS/d' ${ifcfg}
cat >> ${ifcfg} <<-END
ONBOOT=yes
BOOTPROTO=static
IPADDR=${ip}
PREFIX=${mask}
GATEWAY=${gw}
DNS1=${dns}
END
systemctl restart network

修改 sysctl.conf

cat >> /etc/sysctl.conf <<-END
# 防止一个套接字在有过多试图连接到达时引起过载
net.ipv4.tcp_syncookies = 1
# 连接队列的长度，默认值为128
net.core.somaxconn = 1024
# timewait的超时时间，设置短一些
net.ipv4.tcp_fin_timeout = 10
# os直接使用timewait的连接
net.ipv4.tcp_tw_reuse = 1
# 回收timewait连接
net.ipv4.tcp_tw_recycle = 1
END
sysctl -p

修改主机名

1
2
3

hostnamectl set-hostname ${hostname}
sed -i "/[ \t]\+${hostname}[ \t]*$/d" /etc/hosts
echo "${ip} ${hostname}" >> /etc/hosts

禁用 sshd 域名解析

1
2

sed -i '/UseDNS/d' /etc/ssh/sshd_config
echo 'UseDNS no' >> /etc/ssh/sshd_config

删除可能存在的 TMOUT 环境变量

`1`	`sed -i '/^export[ \t]\+TMOUT=/d' /etc/profile`

配置 history 命令数量和执行时间

1
2

echo 'export HISTSIZE=10000' > /etc/profile.d/history.sh
echo 'export HISTTIMEFORMAT="[%F %T] "' >> /etc/profile.d/history.sh

修改时间同步服务器地址

1
2

sed -i '/^server /d' /etc/chrony.conf
echo "server ${ip|domain} iburst" >> /etc/chrony.conf

修改 rsyslog 服务的时间格式

cat > /etc/rsyslog.d/custom.conf <<EOF
template(name="CustomTime" type="list"){
    property(name="timereported" dateformat="year")
    constant(value="-")
    property(name="timereported" dateformat="month")
    constant(value="-")
    property(name="timereported" dateformat="day")
    constant(value=" ")
    property(name="timereported" dateformat="hour")
    constant(value=":")
    property(name="timereported" dateformat="minute")
    constant(value=":")
    property(name="timereported" dateformat="second")
    constant(value=" ")
    property(name="hostname")
    constant(value=" ")
    property(name="syslogtag")
    constant(value=" ")
    property(name="msg" droplastlf="on")
    constant(value="\n")
}
$ActionFileDefaultTemplate CustomTime
EOF

其他检查
- 卸载 ntpdate，换 chrony
- 检查 /etc/rc.d/rc.local

安全设置

/etc/pam.d/sshd
- 用户 ssh 登陆密码错误 3 次后锁住用户 10 分钟
  1
  
  auth required pam_tally2.so deny=3 unlock_time=600 even_deny_root
/etc/login.defs
- 密码过期天数
  1
  
  PASS_MAX_DAYS 60
- 过期前警告天数
  1
  
  PASS_WARN_AGE 7
- 最短使用天数
  1
  
  PASS_MIN_DAYS 1
- 最短长度
  1
  
  PASS_MIN_LEN 8

/etc/pam.d/system-auth

密码与前 5 次不同

`1`	`password sufficient pam_unix.so sha512 shadow nullok try_first_pass use_authtok remember=5`

/etc/security/pwquality.conf

密码最小长度 8 位
1

authconfig --passminlen=8 --update
密码最少 2 种字符
1

authconfig --passminclass=2 --update

最多 2 个连续相同字符

`1`	`authconfig --passmaxrepeat=2 --update`

最多 4 个连续同类字符

`1`	`authconfig --passmaxclassrepeat=4 --update`

至少 1 个小写字符
1

authconfig --enablereqlower --update
至少 1 个大写字符
1

authconfig --enablerequpper --update
至少 1 个数字
1

authconfig --enablereqdigit --update
至少 1 个特殊字符
1

authconfig --enablereqother --update

Mongodb 笔记

Wed, 30 Oct 2019 10:56:11 +0800

数据迁移

导出集合数据到 json 或 csv 文件

命令

`1`	`mongoexport -d dbname -c collectionname -o file --type json/csv -f "field1,field2,...,fieldN"`

参数
- -d 数据库名
- -c 集合名
- -o 输出文件名
- –type 输出格式，默认 json
- -f 输出字段，如果导出 csv，需指定字段名

导入数据到集合

命令

`1`	`mongoimport -d dbname -c collectionname --file filename --headerline --type json/csv -f "field1,field2,...,fieldN"`

参数
- -d 数据库名
- -c 集合名
- –type 导入格式，默认 json
- -f 导入的字段名
- –headerline 导入csv时，使用第一行的标题作为导入字段
- –file 导入的文件

备份数据库

命令

`1`	`mongodump -h dbhost -d dbname -o backup_dir`

参数
- -h ip[:port]
- -d 数据库名
- -o 备份数据存放目录，需提前建立

恢复数据库

命令

`1`	`mongorestore -h dbhost -d dbname --dir backup_dir`

参数 -h ip[:port] -d 数据库名 –dir 备份数据存放目录 –drop 恢复前，先删除当前数据

操作数据库

默认数据库 test
创建 use dbname
查看当前选择的数据库 db
查看数据库列表 show dbs，不显示空数据库
删除数据库 use dbname; db.dropDatabase()

操作集合

创建

1
2
3

db.createCollection("集合名", {capped:false, autoIndexId:false, size:最大字节, max:文档最多数量})
## 或者在插入文档时自动创建
db.集合名.inert({})

删除

`1`	`db.集合名.drop()`

操作文档

insert

插入一个文档

1
2
3

db.集合名.insert({})
# 或者
db.集合名.insertOne({})

插入多个文档

1
2
3

db.集合名.insert([{},{},{},...,{}])
# 或者
db.集合名.insertMany([{},{},{},...,{}])

find

查询匹配的文档
1

db.集合名.find({}).pretty()
查询，只返回一个文档
1

db.集合名.findOne({})
- 相等 {“key”:“value”}
- 小于 {“key”:{$lt:“value”}}
- 小于等于 {“key”:{$lte:“value”}}
- 大于 {“key”:{$gt:“value”}}
- 大于等于 {“key”:{$gte:“value”}}
- 不等于 {“key”:{$ne:“value”}}
- and {$and:[{},{}]}
- or {$or:[{},{}]}

投影

`1`	`db.集合名.find({},{"key1":1,"key2":0 ...})`

限制返回文档数量
1

db.集合名.find({}).limit(N)

跳过返回文档数量

`1`	`db.集合名.find({}).limit(N).skip(N)`

排序，1升序，-1降序

`1`	`db.集合名.find({}).sort({"key":1})`

update

更新一个文档
1

db.集合名.update({},{$set:{}})

更新多个文档

`1`	`db.集合名.update({},{$set:{},{multi:true}})`

save

`1`	`db.集合名.save({,...})`

remove

删除多条记录
1

db.集合名.remove({})
删除一条记录
1

db.集合名.remove({},1)
删除集合中的所有文档，相当于 truncate
1

db.集合名.remove()

索引

创建索引，1升序，-1降序

`1`	`db.集合名.createIndex({"key1":1,"key2":-1})`

聚合

`1`	`db.集合名.aggregate([{}])`

用户

创建用户

管理员权限

use admin
db.createUser(
    {
        user: "username",
        pwd: "password",
        roles: [{role: "root", db: "admin"}]
    }
)

测试库读写权限

use testdb
db.createUser(
    {
        user: "username",
        pwd: "password",
        roles: ["readWrite"]
    }
)

验证身份

`1`	`db.auth("username", "password")`

列出所有用户

`1`	`db.getUsers()`

删除数据库用户

1
2

use testdb
db.dropUser("username")

更改用户密码

db.updateUser(
    "username",
    {
        pwd: "new_password"
    }
)

CentOS7 安装 zookeeper 集群

Wed, 30 Oct 2019 01:25:48 +0800

环境

主机名	eth0 IP	eth1 IP	操作系统	ZK 版本	myid
zk221	192.168.1.221	192.168.16.221	CentOS7.5	3.4.14	221
zk222	192.168.1.222	192.168.16.222	CentOS7.5	3.4.14	222
zk223	192.168.1.223	192.168.16.223	CentOS7.5	3.4.14	223

下载 zookeeper-3.4.14
eth0 网卡用于向客户端提供服务，eth1 网卡用于 zookeeper 集群内部通信

各节点初始配置

关闭 selinux、防火墙
部署 java 运行环境
创建数据(快照日志)目录
1

mkdir -p /var/lib/zookeeper/data
创建事物日志目录
1

mkdir -p /var/lib/zookeeper/dataLog
创建服务日志目录
1

mkdir -p /var/log/zookeeper

生成 myid 文件

# zk221
echo 221 > /var/lib/zookeeper/data/myid
# zk222
echo 222 > /var/lib/zookeeper/data/myid
# zk223
echo 223 > /var/lib/zookeeper/data/myid

部署 zookeeper

登陆 zk221，下载 zookeeper，解压至 /opt/ 下

生成配置文件

1
2

cd /opt/zookeeper/conf/
cp zoo_sample.cfg zoo.cfg

修改 /opt/zookeeper/conf/zoo.cfg

dataDir=/var/lib/zookeeper/data
dataLogDir=/var/lib/zookeeper/dataLog
# servers
server.221=192.168.16.221:2888:3888
server.222=192.168.16.222:2888:3888
server.223=192.168.16.223:2888:3888

修改 /opt/zookeeper/bin/zkEnv.sh

1
2

# 找到 ZOO_LOG_DIR="." 一行，换成如下
ZOO_LOG_DIR="/var/log/zookeeper"

打包 zookeeper 目录，复制到 zk222 和 zk223 上

启动集群

直接启动脚本
- 在每个节点上启动 zookeeper 服务
  1
  
  /opt/zookeeper/bin/zkServer.sh start

systemd 启动

创建 /usr/lib/systemd/system/zookeeper.service，内容如下

[Unit]
Description=Zookeeper
Requires=network.service
After=network.service
[Service]
Environment=JAVA_HOME=/opt/jre
ExecStart=/opt/zookeeper/bin/zkServer.sh start-foreground
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

启动 zookeeper 服务

1
2

systemctl daemon-reload
systemctl start zookeeper

查看集群状态

查看节点状态

`1`	`/opt/zookeeper/bin/zkServer.sh status`

CentOS7 安装 Kafka 集群

Wed, 30 Oct 2019 01:22:25 +0800

环境

主机名	IP	操作系统	kafka 版本
kafka224	192.168.1.224	CentOS7.5	2.12
kafka225	192.168.1.225	CentOS7.5	2.12
kafka226	192.168.1.226	CentOS7.5	2.12

下载 kafka_2.12-2.1.0.tgz
zookeeper 连接: 192.168.1.221:2181,192.168.1.222:2181,192.168.1.223:2181

各节点初始配置

关闭 selinux、防火墙
部署 java 运行环境
创建数据目录
1

mkdir -p /var/lib/kafka
创建日志目录
1

mkdir -p /var/log/kafka

部署 kafka

登陆 kafka224，下载 kafka，解压至 /opt/ 下

修改日志目录

1
2

cd /opt/kafka/
rm -rf logs && ln -s /var/log/kafka logs

修改 /opt/kafka/config/server.properties

broker.id=224
listeners=PLAINTEXT://192.168.1.224:9092
log.dirs=/var/lib/kafka
zookeeper.connect=192.168.1.221:2181,192.168.1.222:2181,192.168.1.223:2181

启动脚本(/opt/kafka/bin/kafka-server-start.sh)太繁琐，我精简了下

#!/bin/bash
base_dir=$(dirname $0)
if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then
    export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"
fi
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    # jvm 堆内存根据实际情况修改
    export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"
    # 开启 jmx
    export JMX_PORT=1099
fi
EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}
EXTRA_ARGS="-daemon "$EXTRA_ARGS
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$base_dir/../config/server.properties"

打包 kafka 目录，复制到 kafka225 和 kafka226 上，并修改 server.properties

# kafka225
broker.id=225
listeners=PLAINTEXT://192.168.1.225:9092
# kafka226
broker.id=226
listeners=PLAINTEXT://192.168.1.226:9092

启动集群(两种启动方式)

直接启动二进制
- 在每个节点上启动 kafka 服务
  1
  
  /opt/kafka/bin/kafka-server-start.sh

systemd 启动

创建 /usr/lib/systemd/system/kafka.service

[Unit]
Description=Kafka
Requires=network.service
After=network.service
[Service]
Environment=JAVA_HOME=/opt/jre
ExecStart=/opt/kafka/bin/kafka-server-start.sh
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Type=forking
KillMode=none
[Install]
WantedBy=multi-user.target

启动 kafka 服务

1
2

systemctl daemon-reload
systemctl start kafka

CentOS7 安装 elasticsearch 集群

Wed, 30 Oct 2019 01:19:09 +0800

环境

主机名	IP	操作系统	ES 版本
es227	192.168.1.227	CentOS7.5	6.5.4
es228	192.168.1.228	CentOS7.5	6.5.4
es229	192.168.1.229	CentOS7.5	6.5.4

下载 elasticsearch-6.5.4.tar.gz

各节点初始配置

关闭 selinux、防火墙
部署 java 运行环境
创建 elastic 用户
1

useradd -m elastic

创建数据目录

1
2
3

cd /var/lib
mkdir elasticsearch
chown elastic.elastic elasticsearch

创建日志目录

1
2
3

cd /var/log
mkdir -p elasticsearch
chown elastic.elastic elasticsearch

增加 sysctl.conf 配置，执行 sysctl -p 生效
1

vm.max_map_count = 262144

增加 /etc/security/limits.conf 配置

elastic soft nofile 65536
elastic hard nofile 65536
elastic soft memlock unlimited
elastic hard memlock unlimited

部署 ELASTICSEARCH

登陆 es227，下载 elasticsearch，解压至 /opt/ 下

修改 elasticsearch 目录的权限

`1`	`chown -R elastic.elastic /opt/elasticsearch`

修改 jvm 参数文件 /opt/elasticsearch/config/jvm.options

修改 /opt/elsaticsearch/config/elasticsearch.yml

cluster.name: TEST_ES_CLUSTER
node.name: es227
network.host: 192.168.1.227
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
discovery.zen.ping.unicast.hosts: ["192.168.1.227:9300", "192.168.1.228:9300", "192.168.1.229:9300"]
discovery.zen.minimum_master_nodes: 2
gateway.recover_after_nodes: 2

打包 elasticsearch 目录，复制到 es228 和 es229 上，并修改 elasticsearch.yml

# es228
node.name: es228
network.host: 192.168.1.228
# es229
node.name: es229
network.host: 192.168.1.229

启动集群(两种启动方式)

直接启动二进制
- 在每个节点上启动 elasticsearch 服务
  1
  
  su - elastic -c '/opt/elasticsearch/bin/elasticsearch -d'

systemd 启动

创建文件 /usr/lib/systemd/system/elasticsearch.service，内容如下

[Unit]
Description=ElasticSearch
Requires=network.service
After=network.service
[Service]
User=elastic
Group=elastic
LimitNOFILE=65536
LimitMEMLOCK=infinity
Environment=JAVA_HOME=/opt/jre
ExecStart=/opt/elasticsearch/bin/elasticsearch
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

启动 elasticsearch 服务

1
2

systemctl daemon-reload
systemctl start elasticsearch

查看集群状态

查看集群节点状态

# 查看节点状态
curl http://192.168.1.228:9200/_cat/nodes?pretty
# 查看集群状态
curl http://192.168.1.228:9200/_cluster/state?pretty

安装分词插件

登陆 es227，下载插件 elasticsearch-analysis-ik-6.5.4.zip 至根目录下
复制该文件至 es228 和 es229 的根目录下

每个节点上安装

1
2

su - elastic
/opt/elasticsearch/bin/elasticsearch-plugin install file:///elasticsearch-analysis-ik-6.5.4.zip

配置远程扩展字典时，出现 java.net.SocketPermission 拒绝连接，此时需配置 jre 策略

1
2

# vim /opt/jre/lib/security/java.policy，在最后一个 "}" 前追加下面一行
permission java.net.SocketPermission "*:*","accept,connect,resolve";

CentOS7 安装 Openvpn

Wed, 30 Oct 2019 01:12:40 +0800

环境

角色	主机名	操作系统	IP
vpn 服务端	vpn-server	CentOS7	192.168.1.90
vpn 客户端	vpn-client	CentOS7	192.168.1.91

两台服务器初始准备

关闭 SELinux
关闭防火墙或放行 udp 端口 1194

安装 openvpn

yum install epel-release
yum clean all
yum makecache fast
yum install easy-rsa openvpn

在 vpn-server 上创建证书

复制 easy-rsa 脚本到 /opt/easy-rsa/ 下

1
2
3

cp -af /usr/share/easy-rsa/3.0.3/ /opt/easy-rsa
# vars 文件包含证书相关配置，可修改
cp /usr/share/doc/easy-rsa-3.0.3/vars.example /opt/easy-rsa/vars

初始化 pki 目录结构

1
2

cd /opt/easy-rsa
./easyrsa init-pki

修改 /opt/easy-rsa/pki/safessl-easyrsa.conf 中如下配置，增加证书有效时间为 10 年
1 2

default_days = 3650 default_crl_days = 3650

生成免密 ca 证书

1
2

# 使用默认 common name 即可
./easyrsa build-ca nopass

生成服务端免密证书

1
2

# 参数 my-server0 指定生成的客户端证书文件名及其 common name
./easyrsa build-server-full my-server0 nopass

生成客户端免密证书

# 参数 my-client0 指定生成的客户端证书文件名及其 common name
# 不同的客户端需指定不同的 common name
# 方便在 client-conf-dir 目录下创建对应的同名客户端配置文件
./easyrsa build-client-full my-client0 nopass

生成 dh.pem
1

./easyrsa gen-dh
生成 ta.key
1

openvpn --genkey --secret pki/ta.key

查看证书目录

/opt/easy-rsa/
├── easyrsa
├── openssl-1.0.cnf
├── pki
│   ├── ca.crt
│   ├── certs_by_serial
│   │   ├── 1835C740AD1421868300998618C0641F.pem
│   │   └── 4F3AF1ED7D42ED56CCF26CC7622F4F50.pem
│   ├── dh.pem
│   ├── index.txt
│   ├── index.txt.attr
│   ├── index.txt.attr.old
│   ├── index.txt.old
│   ├── issued
│   │   ├── my-client0.crt
│   │   └── my-server0.crt
│   ├── private
│   │   ├── ca.key
│   │   ├── my-client0.key
│   │   └── my-server0.key
│   ├── reqs
│   │   ├── my-client0.req
│   │   └── my-server0.req
│   ├── serial
│   ├── serial.old
│   └── ta.key
├── vars
└── x509-types
    ├── ca
    ├── client
    ├── COMMON
    ├── san
    └── server

该证书目录 /opt/easyrsa 需妥善保管，后期增加其他客户端证书时会用到

配置 vpn-server

开启路由转发，修改 /etc/sysctl.conf

1
2

sysctl -w 'net.ipv4.ip_forward = 1'
sysctl -p

复制服务端证书到 openvpn 配置目录下

mkdir -p /etc/openvpn/server/my-server0/
cd /opt/easy-rsa/pki
cp ca.crt dh.pem issued/my-server0.crt private/my-server0.key ta.key \
    /etc/openvpn/server/my-server0/

创建 /etc/openvpn/server/my-server0.conf

1
2

cd /usr/share/doc/openvpn-2.4.7/sample/sample-config-files
cp server.conf /etc/openvpn/server/my-server0.conf

修改 /etc/openvpn/server/my-server0.conf

ca my-server0/ca.crt
cert my-server0/my-server0.crt
key my-server0/my-server0.key
dh my-server0/dh.pem
tls-auth my-server0/ta.key 0

启动 vpn-server 服务

启动 openvpn-server@my-server0.service 服务

`1`	`systemctl start openvpn-server@my-server0.service`

如需提供 ca 密码

`1`	`systemd-tty-ask-password-agent --query`

配置 vpn-client

复制 vpn-server 上的客户端证书到 openvpn 配置目录下

1
2

mkdir -p /etc/openvpn/client/my-client0
scp vpn-server:/opt/easy-rsa/pki/{ca.crt,issued/my-client0.crt,private/my-client0.key,ta.key} /etc/openvpn/client/my-client0/

创建 /etc/openvpn/client/my-client0.conf

1
2

cd /usr/share/doc/openvpn-3.0.3/sample/sample-config-files
cp client.conf /etc/openvpn/client/my-client0.conf

修改 /etc/openvpn/client/my-client0.conf

remote 192.168.1.90 1194 # vpn server 地址
ca my-client0/ca.crt
cert my-client0/client.crt
key my-client0/client.key
tls-auth my-client0/ta.key 1

启动 vpn-client 服务

启动 openvpn-client@my-client0 服务

`1`	`systemctl start openvpn-client@my-client0.service`

如需提供 ca 密码

`1`	`systemd-tty-ask-password-agent --query`

验证

vpn server 新增网卡 tun0，地址是 10.8.0.1/24
vpn client 新增网卡 tun0，地址是 10.8.0.2/24

参考

创建证书

K8s 二进制安装

Wed, 30 Oct 2019 01:09:48 +0800

环境

角色	主机名	内网 IP	集群 IP	操作系统	服务	执行目录
部署机 k8s-master	master120	10.0.4.120	-	CentOS	kube-apiserver kube-scheduler kube-controller-manager	/opt/kubernetes/
etcd-node	etcd121	10.0.4.121	10.10.10.121	CentOS	etcd	/opt/etcd/
etcd-node	etcd122	10.0.4.122	10.10.10.122	CentOS	etcd	/opt/etcd/
etcd-node	etcd123	10.0.4.123	10.10.10.123	CentOS	etcd	/opt/etcd/
k8s-node	node124	10.0.4.124	-	CentOS	docker flannel kubelet kube-proxy	/opt/kubernetes/
k8s-node	node125	10.0.4.125	-	CentOS	docker flannel kubelet kube-proxy	/opt/kubernetes/
k8s-node	node126	10.0.4.126	-	CentOS	docker flannel kubelet kube-proxy	/opt/kubernetes/

前期准备

全部服务器关闭 firewalld 和 selinux，禁用 swap，部署机(master120)可免密 ssh 登陆其他服务器
软件版本
- CentOS: 7.7
- etcd: 3.3.18
- docker: ce-19.03.5
- flannel: 0.11.0
- kubernetes: 1.17.2
k8s牵扯到多个网段，这里说明下
- 10.0.4.0/24 该网段是服务器物理网卡 IP 地址段，通过该地址访问互联网
- 10.10.10.0/24 该网段是杜撰的，但也配置在服务器物理网卡上，用于 etcd 集群节点间通信，与 k8s 集群无关
- 10.10.9.0/24 该网段是杜撰的，分配 k8s service 的 clusterIP
- 172.17.0.0/24 该网段是杜撰的，是 docker 网桥自带网段，也是 flannel 提供的网段，实现不同节点间的容器互通
- 172.16.0.0/24 该网段是杜撰的，是 k8s pod 的 IP 地址区间，用于区别流量来源

部署 etcd 集群

在部署机(master120)上操作下面步骤

K8s 部署 Coredns 组件

Wed, 30 Oct 2019 01:06:56 +0800

环境

二进制部署的 kubernetes v1.17.2 集群
coreDNS 1.6.6

生成 service account 文件

创建 0.coredns-sa.yml

cat > 0.coredns-sa.yml <<EOF
apiVersion: v1
kind: ServiceAccount
metadata:
  name: coredns
  namespace: kube-system
EOF

生成 rbac 文件

创建 1.coredns-rbac.yml

curl > 1.coredns-rbac.yml <<EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:coredns
rules:
- apiGroups:
  - ""
  resources:
  - endpoints
  - services
  - pods
  - namespaces
  verbs:
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - get
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:coredns
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:coredns
subjects:
- kind: ServiceAccount
  name: coredns
  namespace: kube-system
EOF

生成 configmap 文件

创建 2.coredns-configmap.yml

cat > 2.coredns-configmap.yml <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: coredns
  namespace: kube-system
data:
  Corefile: |
    .:53 {
        errors
        health {
          lameduck 5s
        }
        ready
        kubernetes cluster.local 10.10.9.0/24 {
          fallthrough in-addr.arpa ip6.arpa
        }
        prometheus :9153
        forward . /etc/resolv.conf
        cache 30
        loop
        reload
        loadbalance
    }
EOF

这里的 10.10.9.0/24 应与 kube-apiserver 配置文件中的 service-cluster-ip-range 一致
这里的 cluster.local 应与 kubelet 配置文件中的 clusterDomain 一致

生成 deployment 文件

创建 3.coredns-deployment.yml

cat > 3.coredns-deployment.yml <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: coredns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/name: "CoreDNS"
spec:
  # replicas: not specified here:
  # 1. Default is 1.
  # 2. Will be tuned in real time if DNS horizontal auto-scaling is turned on.
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1
  selector:
    matchLabels:
      k8s-app: kube-dns
  template:
    metadata:
      labels:
        k8s-app: kube-dns
    spec:
      priorityClassName: system-cluster-critical
      serviceAccountName: coredns
      tolerations:
        - key: "CriticalAddonsOnly"
          operator: "Exists"
      nodeSelector:
        beta.kubernetes.io/os: linux
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: k8s-app
                operator: In
                values: ["kube-dns"]
            topologyKey: kubernetes.io/hostname
      containers:
      - name: coredns
        image: coredns/coredns:1.6.6
        imagePullPolicy: IfNotPresent
        resources:
          limits:
            memory: 170Mi
          requests:
            cpu: 100m
            memory: 70Mi
        args: [ "-conf", "/etc/coredns/Corefile" ]
        volumeMounts:
        - name: config-volume
          mountPath: /etc/coredns
          readOnly: true
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        - containerPort: 9153
          name: metrics
          protocol: TCP
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            add:
            - NET_BIND_SERVICE
            drop:
            - all
          readOnlyRootFilesystem: true
        livenessProbe:
          httpGet:
            path: /health
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        readinessProbe:
          httpGet:
            path: /ready
            port: 8181
            scheme: HTTP
      dnsPolicy: Default
      volumes:
        - name: config-volume
          configMap:
            name: coredns
            items:
            - key: Corefile
              path: Corefile
EOF

coredns/coredns:1.2.2 该镜像可以提前导入本地局域网中的私有 docker 仓库中
查看 k8s 对应的 coredns 版本，参考 coredns

生成 service 文件

创建 4.coredns-service.yml

cat > 4.coredns-service.yml <<EOF
apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  annotations:
    prometheus.io/port: "9153"
    prometheus.io/scrape: "true"
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    kubernetes.io/name: "CoreDNS"
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 10.10.9.2
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP
  - name: metrics
    port: 9153
    protocol: TCP
EOF

这里的 clusterIP 需与 kubelet 配置文件中的 clusterDNS 一致

部署到 kubernetes 中

使用 kubectl 直接应用

kubectl apply -f 0.coredns-sa.yml
kubectl apply -f 1.coredns-rbac.yml
kubectl apply -f 2.coredns-configmap.yml
kubectl apply -f 3.coredns-deployment.yml
kubectl apply -f 4.coredns-service.yml

查看 coredns 状态

查看 service 状态

CentOS7 系统盘迁移

Wed, 30 Oct 2019 01:03:45 +0800

环境

两台服务器(A,B)
A 已安装好 CentOS7，且已关闭 selinux
B 裸机，待安装操作系统

打包根分区

从 B 上拆下系统硬盘，接在 A 上，启动 A

清空日志(推荐)

1
2

cd /var/log/
find . -type f | xargs rm -f

关闭 selinux

`1`	`sed -i '/^SELINUX=/cSELINUX=disabled' /mnt/etc/selinux/config`

如果 A 是 MBR 启动，则直接打包根分区

`1`	`tar zcpf /centos7.tgz --exclude=/centos7.tgz --one-file-system /`

如果 A 是 EFI 启动，则需打包根分区和 EFI 分区

1
2

# 假设 efi 分区挂载在 /boot/efi 下
tar zcpf /centos7.tgz --exclude=/centos7.tgz --one-file-system / /boot/efi

硬盘分区

假设 /dev/sdb 是 B 的系统硬盘
MBR 启动时，分区表是 dos，只分一个根分区即可

EFI 启动时，分区表是 gpt，需要分一个 512MB 的 efi 分区和一个根分区

1
2
3

fdisk /dev/sdb
# n 创建新分区
# t 指定分区类型 1 (即 efi system）

格式化

MBR 启动
1

mkfs.xfs /dev/sdb1

EFI 启动

1
2

mkfs.vfat -F32 /dev/sdb1
mkfs.xfs /dev/sdb2

挂载硬盘

MBR 启动
1

mount /dev/sdb1 /mnt/

EFI 启动

1
2
3

mount /dev/sdb2 /mnt/
mkdir -p /mnt/boot/efi
mount /dev/sdb1 /mnt/boot/efi/

部署操作系统

解压之前打包的 /centos7.tgz
1

tar zxpf /centos7.tgz -C /mnt/

替换 fstab 中的 uuid 信息

1
2
3

# 获取 B 的系统硬盘分区的 uuid 信息
lsblk -f /dev/sdb
# 把结果中的 uuid 替换到 /mnt/etc/fstab 中的相应位置

如果打包时未关闭 selinux，此时可以修改配置文件

`1`	`sed -i '/^SELINUX=/cSELINUX=disabled' /mnt/etc/selinux/config`

删除网卡硬件标识(推荐)

`1`	`sed -i -e '/HWADDR/d' -e '/UUID/d' /mnt/etc/sysconfig/network-scripts/ifcfg-{eth,enp}*`

删除 ssh 主机密钥(推荐)
1

rm -rf /etc/ssh/ssh_host_*

部署 grub

MBR 启动

mount --bind /dev/ /mnt/dev/
mount -t proc procfs /mnt/proc/
mount -t sysfs sysfs /mnt/sys/
chroot /mnt
grub2-install /dev/sdb
grub2-mkconfig -o /boot/grub2/grub.cfg
exit

EFI 启动

mount --bind /dev/ /mnt/dev/
mount -t proc procfs /mnt/proc/
mount -t sysfs sysfs /mnt/sys/
mount -t efivarfs efivarfs /target/sys/firmware/efi/efivars/
chroot /mnt
efibootmgr -c -p 1 -d /dev/sdb -L "centos"
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
exit

启动操作系统

卸载 B 的系统硬盘
1

umount -R /mnt
关闭 A，拆下刚部署好操作系统的硬盘，接回 B 中
启动 B，刚部署的 CentOS7 正常启动

参考

https://wiki.centos.org/zh/HowTos/ManualInstall?highlight=%28grub2-install%29

CentOS7 安装 Cassandra 集群

Wed, 30 Oct 2019 00:59:02 +0800

环境

主机名	Public IP	Cluster IP	操作系统	Cassandra 版本
cassandra101	10.0.4.101	10.10.10.101	CentOS7.6	3.0.18
cassandra102	10.0.4.102	10.10.10.102	CentOS7.6	3.0.18
cassandra103	10.0.4.103	10.10.10.103	CentOS7.6	3.0.18

下载 apache-cassandra-3.0.18-bin.tar.gz

各节点初始配置

关闭 selinux、防火墙
部署 java 运行环境
创建 cassandra 用户
1

useradd -m cassandra

创建数据目录

cd /var/lib
mkdir -p cassandra/data1 #多个存储磁盘可以创建多个数据存储目录
mkdir -p cassandra/hints #建议与数据磁盘分开
mkdir -p cassandra/commitlog #建议与数据磁盘分开
mkdir -p cassandra/saved_caches #建议与数据磁盘分开
chown -R cassandra.cassandra cassandra/

创建日志目录

1
2
3

cd /var/log
mkdir -p cassandra
chown -R cassandra.cassandra cassandra/

创建 pid 目录

1
2
3

cd /run
mkdir -p cassandra
chown -R cassandra.cassandra cassandra/

增加 sysctl.conf 配置，执行 sysctl -p 生效
1

vm.max_map_count=1048576
安装 jemalloc (推荐)
1

yum install jemalloc

创建文件 /usr/lib/systemd/system/cassandra.service，内容如下

[Unit]
Description=Cassandra
Requires=network.service
After=network.service
[Service]
Type=forking
WorkingDirectory=/opt/cassandra
Environment=JAVA_HOME=/opt/jre
Environment=LOCAL_JMX=no
PIDFile=/run/cassandra/cassandra.pid
ExecStart=/opt/cassandra/bin/cassandra -p /run/cassandra/cassandra.pid
User=cassandra
Group=cassandra
LimitNOFILE=65536
LimitNPROC=65536
LimitMEMLOCK=infinity
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

部署 Cassandra

登陆 cassandra101，下载 cassandra，解压至 /opt/ 下

修改 /opt/cassandra/conf/cassandra.yaml

cluster_name: CassandraCluster
hists_directory: /var/lib/cassandra/hints
data_file_directories:
    - /var/lib/cassandra/data1
commitlog_directory: /var/lib/cassandra/commitlog
saved_caches_directory: /var/lib/cassandra/saved_caches
seed_provider:
    - class_name: org.apache.cassandra.locator.SimpleSeedProvider
      parameters:
          - seeds: "10.10.10.101,10.10.10.102,10.10.10.103"
listen_address: 10.10.10.101
rpc_address: 10.0.4.101

修改 /opt/cassandra/conf/logback.xml

`1`	`sed -i 's,\${cassandra.logdir},/var/log,' /opt/cassandra/conf/logback.xml`

修改 /opt/cassandra/conf/cassandra-env.sh

1
2

# 这里我暂时关闭了 jmx 远程验证，否则需要手动创建 jmxremote.password 文件
sed -i 's/jmxremote.authenticate=true/jmxremote.authenticate=false/' /opt/cassandra/conf/cassandra-env.sh

修改 cassandra 目录的权限

`1`	`chown -R cassandra.cassandra cassandra/`

打包 cassandra 目录，部署到 cassandra102 和 cassandra103 的 /opt 下，并修改 cassandra.yaml

# cassandra102
listen_address: 10.10.10.102
rpc_address: 10.0.4.102
# cassandra103
listen_address: 10.10.10.103
rpc_address: 10.0.4.103

启动集群

启动 cassandra 服务

1
2
3


systemctl daemon-reload
systemctl start cassandra

简单使用

cqlsh 连接数据库

1
2

/opt/cassandra/bin/cqlsh 10.0.4.101 9042
cqlsh> desc keyspaces;

注意事项

创建包含复合主键的表

create table t1 (
    c1 text,
    c2 text,
    c3 text,
    c4 text,
    c5 text,
    primary key((c1,c2),c3,c4)
);

复合主键的第一列 “(c1,c2)” 构成 PartitionKey，其余列 c3,c4 都是 ClusteringKey
Cassandra 对 PartitionKey 计算 Hash 值，决定该记录的存放 node，ClusteringKey 在 Partition 内部排序
默认只支持主键列和索引列查询，否则需要手动指定 allow filtering
根据多个 ClustringKey 查询时，需指定全部的 PartitionKey，ClusteringKey 不能跳过
主键列不可修改

sed 命令

Wed, 30 Oct 2019 00:56:26 +0800

流程

每次从输入中读取一行
匹配数据
修改数据
输出数据(默认 stdout)

选项

-e 执行多个编辑命令

1
2

sed -e 's/root/ROOT/g; s/bin/BIN/g' /etc/passwd
sed -e 's/root/ROOT/g' -e 's/bin/BIN/g' /etc/passwd

-f 从指定文件中获取 sed 命令

cat > script.sed <<EOF
s/root/ROOT/
s/bin/BIN/
s/home/HOME/
EOF
sed -f script.sed /etc/passwd

-n 不输出数据(只是编辑器不输出，与编辑命令无关)
-i 直接修改文件本身
-r 扩展正则表达式，不需要繁琐的转义

命令

命令	描述
s	替换文本
d	删除行
i	匹配行上插入新行
a	匹配行下插入新行
c	匹配行替换
y	逐个字符替换文本
p	打印行
=	打印行号
w	写入指定文件
r	读出指定文件

高级命令

命令	描述
x	交换模式空间与保持空间内容
d	删除当前模式空间内容，并进入下一个循环
D	删除多行模式空间中的首行，并进入下一个循环
n	读取匹配到的下一行至模式空间 [会覆盖模式空间原有的值]
N	读取匹配到的下一行至模式空间 [追加到原有内容后]
h	复制模式空间内容，到保持空间，覆盖
H	复制模式空间内容，到保持空间，追加
g	复制保持空间内容，到模式空间，覆盖
G	复制保持空间内容，到模式空间，追加

模式空间(pattern space): 所有的处理动作都在这里，默认打印到终端
保持空间(hold space): 数据暂存区域，类似中间变量
循环标签
- 格式: sed -n ‘:标签名范围1 命令1; /模式/b 标签名’ filename
- 调用: b, t, T

使用

默认只替换在每行第一次出现目标文本
1

sed 's/root/ROOT/' /etc/passwd
数字替换标记，替换每行的第二个 root 为 ROOT
1

sed 's/root/ROOT/2' /etc/passwd
g 替换标记，替换所有匹配的 root 为 ROOT
1

sed 's/root/ROOT/g' /etc/passwd
替换每行第二次开始及之后的 root 为 ROOT
1

sed 's/root/ROOT/2g' /etc/passwd
打印被替换过的行
1

sed -n 's/root/ROOT/gp' /etc/passwd

把被替换过的行写入 change.txt 中

`1`	`sed -n 's/root/ROOT/g w change.txt' /etc/passwd`

将第3行中所有的 bin 替换成 BIN
1

sed '3 s/bin/BIN/g' /etc/passwd
将第2到5行中所有的 bin 替换成 BIN
1

sed '2,5 s/bin/BIN/g' /etc/passwd
将第10行到最后一行中所有的 bin 替换成 BIN
1

sed '10,$ s/bin/BIN/g' /etc/passwd
寻找包含有字符串 root 的行，并将匹配行的 bin 替换为 BIN
1

sed -n '/root/s/bin/BIN/p' /etc/passwd
从匹配 root 的行开始替换 bin 为 BIN，直到匹配 nologin 的行，循环
1

sed -n '/root/,/nologin/s/bin/BIN/p' /etc/passwd
删除匹配 root 的行
1

sed '/root/d' /etc/passwd
删除第2到最后一行
1

sed '2,$d' /etc/passwd
删除匹配 root 行及其下面两行
1

sed '/root/,+2d' /etc/passwd
保留第四、五、六三行，其他行删除
1

sed '4,6!d' /etc/passwd
每一行前面增加一个行 AAAA
1

sed 'iAAAA' /etc/passwd
第一行前面增加一个行 AAAA
1

sed '1iAAAA' /etc/passwd
第三行后面增加一个行 AAAA
1

sed '3aAAAA' /etc/passwd
最后一行后面增加一个行 AAAA
1

sed '$aAAAA' /etc/passwd

逐个字符替换

1
2

echo abcdefggfedcba | sed 'y/acg/ACG/'
# 输出 AbCdefGGfedCbA

把第1行到第4行写入 test.txt
1

sed '1,4w test.txt' /etc/passwd
把 test.txt 的内容插入第三行后
1

sed '3r test.txt' /etc/passwd

把 000_00000000 换成 000.00000000

1
2
3

sed -i 's/\([0-9]\{3\}\)_\([0-9]\{8\}\)/\1.\2/g' phone_file
# 或者
sed -i -r 's/([0-9]{3})_([0-9]{8})/\1.\2/g' phone_file

替换 root 为 (root)
1

sed -i 's/root/(&)/g' file_name
把匹配 AAAA 行下的第二行中的 BBBB 改成 CCCC
1

sed -i '/AAAA/{n;n;s/BBBB/CCCC/g}' file_name
在匹配 AAAA 行下的第三行下添加 CCCC 一行
1

sed -i '/AAAA/{n;n;n;s/$/\nCCCC/}' file_name

参考

Sed 介绍和教程

mysql/mariadb 备份

Wed, 30 Oct 2019 00:54:15 +0800

xtrabackup

环境

mysql 8.4
rockylinux 9.6

安装

下载与操作系统和 mysql 版本对应的通用二进制包，解压

1
2

tar zxf percona-xtrabackup-8.4.0-5-Linux-x86_64.glibc2.34-minimal.tar.gz
mv percona-xtrabackup-8.4.0-5-Linux-x86_64.glibc2.34-minimal /opt/pxb

备份前准备工作

备份目录如果是 nfs，挂载时需指定 sync 选项

创建备份用户

CREATE USER xb@localhost IDENTIFIED BY 'Xtrabackup_1234';
GRANT BACKUP_ADMIN, PROCESS, RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO xb@localhost;
GRANT SELECT ON performance_schema.log_status TO xb@localhost;
GRANT SELECT ON performance_schema.keyring_component_status TO xb@localhost;
GRANT SELECT ON performance_schema.replication_group_members TO xb@localhost;

全量备份和恢复

备份

Nfs 笔记

Wed, 30 Oct 2019 00:51:22 +0800

环境

服务端 CentOS8 192.168.1.100
客户端 CentOS8 192.168.1.101

服务端

安装

yum install nfs-utils
systemctl enable nfs-server
systemctl start nfs-server
# rpcbind 服务自动 start 并 enable

创建配置文件

mkdir /nfs_share -p
chown -R nobody:nobody /nfs_share
cat > /etc/exports <<EOF
/nfs_share 192.168.1.0/24(rw,sync,all_squash)
EOF

重新载入配置

1
2
3

exportfs -r
# 查看配置
exportfs

客户端

安装

CentOS7 安装 Postgresql

Wed, 30 Oct 2019 00:48:54 +0800

环境

CentOS 7
PostgreSQL 10.10

安装

安装 yum 源

yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# 或者从清华镜像站下载
yum install https://mirrors.tuna.tsinghua.edu.cn/postgresql/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# 可以更换成清华镜像站地址
sed -i 's,download.postgresql.org/pub,mirrors.tuna.tsinghua.edu.cn/postgresql,' /etc/yum.repos.d/pgdg-redhat-all.repo
# 更新 yum 缓存
yum clean all
yum makecache fast

安装 postgresql-server
1

yum install postgresql10-server

初始化数据库

`1`	`/usr/pgsql-10/bin/postgresql-10-setup initdb`

启动数据库
1

systemctl start postgresql-10

配置 postgresql.conf

监听本机全部地址
1

clisten_addresses = '*'

配置 pg_hba.conf

配置同网段客户端可通过 pguser1 使用密码登陆 pgdb1
1

echo 'host pgdb1 pguser1 samenet md5' >> pg_hba.conf
配置任何客户端可通过任何用户使用密码登陆任何数据库
1

echo 'host all all all md5' >> pg_hba.conf

简单使用

登陆数据库
1 2

su - postgres psql -U postgres

简单操作

-- 修改 postgres 用户的默认密码
alter user postgres with password '123456';
-- 创建新用户 pguser1
create user pguser1 with password '123456';
-- 创建数据库 pgdb1
create database pgdb1 owner pguser1 encoding utf8;
-- 授权
grant all on database pgdb1 to pguser1;
-- 查看系统操作帮助
\?
-- 查看 sql 语句操作帮助
\h
-- 查看建库语句操作
\h create database
-- 退出数据库
\q

迁移数据库目录

停止数据库 postgresql
1

systemctl stop postgresql-10

移动数据库目录

1
2
3

mkdir -p /data/pgsql/10
mv /var/lib/pgsql/10/data /data/pgsql/10/
chown -R postgres.postgres /data/pgsql

修改 service 文件

1
2

sed -i 's,/var/lib/pgsql/10,/data/pgsql/10,' /usr/lib/systemd/system/postgresql-10.service
systemctl daemon-reload

启动数据库
1

systemctl start postgresql-10

awk 命令

Wed, 30 Oct 2019 00:47:01 +0800

格式

awk -F ‘分隔符正则’ -v 变量名=值 ‘BEGIN{动作} 条件{动作} END{动作}’ 文件1 文件2 …
awk -F ‘分隔符正则’ -f awk脚本文件名文件1 文件2 …

常用内置变量

变量	说明
$0	当前记录
$1~$n	当前记录的第n个字段，字段间由FS分隔
FS	输入字段分隔符默认是空格
NF	当前记录中的字段个数，就是有多少列
NR	awk 开始执行程序后所读取的数据行数，就是行号，从1开始
RS	输入的记录他隔符默认为换行符
OFS	输出字段分隔符默认也是空格
ORS	输出的记录分隔符，默认为换行符
FNR	当前记录数，awk每打开一个新文件,FNR便从0重新累计
ARGC	命令行参数个数
ARGV	命令行参数字典，ARGV[0] 是 ‘awk’，ARGV[1] 是 FILENAME
FILENAME	当前输入文件的名字
IGNORECASE	如果为真，则进行忽略大小写的匹配
ENVIRON	UNIX环境变量，如 ENVIRON[“PATH”]
FIELDWIDTHS	输入字段宽度的空白分隔字符串
OFMT	数字的输出格式(默认值是%.6g)
RSTART	被 match 匹配函数匹配的字符串位置
RLENGTH	被 match 匹配函数匹配的字符串长度

函数

常用内置函数

函数	说明
int(x)	返回 x 的整数部分
rand()	返回 0 到 1 之间的浮点数
gsub(Ere, “dest”, str)	把 str 中匹配扩展正则 Ere 的全部子串换成字符串 “dest”
sub(Ere, “dest”, str)	把 str 中匹配扩展正则 Ere 的第一个子串换成字符串 “dest”
substr(str, start, len)	返回 str 中从 start 开始(长度为 len )的子串
index(str1, str2)	返回 str1 中出现 str2 的位置，如果未找到，返回 0
length(str)	返回 str 的字符个数，如果未指定 str，返回 $0 包含字符个数
blength(str)	返回 str 的字节个数，如果未指定 str，返回 $0 包含字节个数
match(str, Ere)	返回 str 中匹配扩展正则 Ere 的位置，如果未找到，返回 0
split(str, arr, Ere)	把 str 按照扩展正则 Ere 切分成字典，存储到 arr 中，返回字典长度
tolower(str)	把 str 换成小写
toupper(str)	把 str 换成大写
sprintf("%s-%d", “abcd”, 1234)	返回 abcd-1234
strtonum(str)	返回十进制数字
delete arr[n]	删除字典/字典的对应元素
getline	读入当前行的下一行，重写变量 0
next	停止处理当前记录，开始处理下一行
nextfile	停止处理当前文件，开始处理下一个文件
system(shell-command)	返回命令退出状态
exit n	终止 awk，返回 n

自定义函数

格式

function fun_name(arg1, arg2, ...){
    #函数体
    return
}

判断语句

if(条件){
    # 语句
}else if(条件){
    # 语句
}else{
    # 语句
}

循环语句

for

for(初始化;条件;变化){
    # 语句
}
for(变量 in 字典){
    # 语句
}

while
1 2 3

while(条件){ # 语句 }
do while
1 2 3

do{ # 语句 }while(条件)
break 退出当前循环体
continue 退出本次循环，继续下一次循环

脚本

#!/usr/bin/awk -f

# 自定义的变量和函数
# ...

# 从这里开始执行
BEGIN{
    # 语句
}
条件{
    # 语句
}
END{
    # 语句
}

其他说明

变量在使用时直接赋值即可，无需提前声明或定义
个人认为，awk 没有数组只有字典，数组是键为整数的字典
运算符(+, -, *, /, ++, – 等)和关系符操作(>, >=, <, <=, ~~, !~~ 等)与 C 基本一致，也支持三目运算符(条件?值1:值2)

shell 中 awk 执行显式命令时，加载 shell 中的变量

#!/bin/bash
shell_value='abcd'
echo | awk '{print "'$shell_value'"}'
# 输出 abcd

参考

Openvpn 笔记

Wed, 30 Oct 2019 00:45:06 +0800

服务端配置文件 server.conf

#################################################
# 针对多客户端的OpenVPN 2.0 的服务器端配置文件示例
#
# 本文件用于多客户端<->单服务器端的OpenVPN服务器端配置
#
# OpenVPN也支持单机<->单机的配置(更多信息请查看网站上的示例页面)
#
# 该配置支持Windows或者Linux/BSD系统。此外，在Windows上，记得将路径加上双引号，
# 并且使用两个反斜杠，例如："C:\\Program Files\\OpenVPN\\config\\foo.key"
#
# '#' or ';'开头的均为注释内容
#################################################

#OpenVPN应该监听本机的哪些IP地址？
#该命令是可选的，如果不设置，则默认监听本机的所有IP地址。
;local a.b.c.d

# OpenVPN应该监听哪个TCP/UDP端口？
# 如果你想在同一台计算机上运行多个OpenVPN实例，你可以使用不同的端口号来区分它们。
# 此外，你需要在防火墙上开放这些端口。
port 1194

#OpenVPN使用TCP还是UDP协议?
;proto tcp
proto udp

# 指定OpenVPN创建的通信隧道类型。
# "dev tun"将会创建一个路由IP隧道，
# "dev tap"将会创建一个以太网隧道。
#
# 如果你是以太网桥接模式，并且提前创建了一个名为"tap0"的与以太网接口进行桥接的虚拟接口，则你可以使用"dev tap0"
#
# 如果你想控制VPN的访问策略，你必须为TUN/TAP接口创建防火墙规则。
#
# 在非Windows系统中，你可以给出明确的单位编号(unit number)，例如"tun0"。
# 在Windows中，你也可以使用"dev-node"。
# 在多数系统中，除非你部分禁用或者完全禁用了TUN/TAP接口的防火墙，否则VPN将不起作用。
;dev tap
dev tun

# 如果你想配置多个隧道，你需要用到网络连接面板中TAP-Win32适配器的名称(例如"MyTap")。
# 在XP SP2或更高版本的系统中，你可能需要有选择地禁用掉针对TAP适配器的防火墙
# 通常情况下，非Windows系统则不需要该指令。
;dev-node MyTap

# 设置SSL/TLS根证书(ca)、证书(cert)和私钥(key)。
# 每个客户端和服务器端都需要它们各自的证书和私钥文件。
# 服务器端和所有的客户端都将使用相同的CA证书文件。
#
# 通过easy-rsa目录下的一系列脚本可以生成所需的证书和私钥。
# 记住，服务器端和每个客户端的证书必须使用唯一的Common Name。
#
# 你也可以使用遵循X509标准的任何密钥管理系统来生成证书和私钥。
# OpenVPN 也支持使用一个PKCS #12格式的密钥文件(详情查看站点手册页面的"pkcs12"指令)
ca ca.crt
cert server.crt
key server.key  # 该文件应该保密

# 指定迪菲·赫尔曼参数。
# 你可以使用如下名称命令生成你的参数：
#   openssl dhparam -out dh1024.pem 1024
# 如果你使用的是2048位密钥，使用2048替换其中的1024。
dh dh1024.pem

# 设置服务器端模式，并提供一个VPN子网，以便于从中为客户端分配IP地址。
# 在此处的示例中，服务器端自身将占用10.8.0.1，其他的将提供客户端使用。
# 如果你使用的是以太网桥接模式，请注释掉该行。更多信息请查看官方手册页面。
server 10.8.0.0 255.255.255.0

# 指定用于记录客户端和虚拟IP地址的关联关系的文件。
# 当重启OpenVPN时，再次连接的客户端将分配到与上一次分配相同的虚拟IP地址
ifconfig-pool-persist ipp.txt

# 该指令仅针对以太网桥接模式。
# 首先，你必须使用操作系统的桥接能力将以太网网卡接口和TAP接口进行桥接。
# 然后，你需要手动设置桥接接口的IP地址、子网掩码；
# 在这里，我们假设为10.8.0.4和255.255.255.0。
# 最后，我们必须指定子网的一个IP范围(例如从10.8.0.50开始，到10.8.0.100结束)，以便于分配给连接的客户端。
# 如果你不是以太网桥接模式，直接注释掉这行指令即可。
;server-bridge 10.8.0.4 255.255.255.0 10.8.0.50 10.8.0.100

# 该指令仅针对使用DHCP代理的以太网桥接模式，
# 此时客户端将请求服务器端的DHCP服务器，从而获得分配给它的IP地址和DNS服务器地址。
#
# 在此之前，你也需要先将以太网网卡接口和TAP接口进行桥接。
# 注意：该指令仅用于OpenVPN客户端，并且该客户端的TAP适配器需要绑定到一个DHCP客户端上。
;server-bridge

# 推送路由信息到客户端，以允许客户端能够连接到服务器背后的其他私有子网。
# (简而言之，就是允许客户端访问VPN服务器自身所在的其他局域网)
# 记住，这些私有子网也要将OpenVPN客户端的地址池(10.8.0.0/255.255.255.0)反馈回OpenVPN服务器。
;push "route 192.168.10.0 255.255.255.0"
;push "route 192.168.20.0 255.255.255.0"

# 为指定的客户端分配指定的IP地址，或者客户端背后也有一个私有子网想要访问VPN，
# 那么你可以针对该客户端的配置文件使用ccd子目录。
# (简而言之，就是允许客户端所在的局域网成员也能够访问VPN)

# 举个例子：假设有个Common Name为"Thelonious"的客户端背后也有一个小型子网想要连接到VPN，该子网为192.168.40.128/255.255.255.248。
# 首先，你需要去掉下面两行指令的注释：
;client-config-dir ccd
;route 192.168.40.128 255.255.255.248
# 然后创建一个文件ccd/Thelonious，该文件的内容为：
#     iroute 192.168.40.128 255.255.255.248
#这样客户端所在的局域网就可以访问VPN了。
# 注意，这个指令只能在你是基于路由、而不是基于桥接的模式下才能生效。
# 比如，你使用了"dev tun"和"server"指令。

# 再举个例子：假设你想给Thelonious分配一个固定的IP地址10.9.0.1。
# 首先，你需要去掉下面两行指令的注释：
;client-config-dir ccd
;route 10.9.0.0 255.255.255.252
# 然后在文件ccd/Thelonious中添加如下指令：
#   ifconfig-push 10.9.0.1 10.9.0.2

# 如果你想要为不同群组的客户端启用不同的防火墙访问策略，你可以使用如下两种方法：
# (1)运行多个OpenVPN守护进程，每个进程对应一个群组，并为每个进程(群组)启用适当的防火墙规则。
# (2) (进阶)创建一个脚本来动态地修改响应于来自不同客户的防火墙规则。
# 关于learn-address脚本的更多信息请参考官方手册页面。
;learn-address ./script

# 如果启用该指令，所有客户端的默认网关都将重定向到VPN，这将导致诸如web浏览器、DNS查询等所有客户端流量都经过VPN。
# (为确保能正常工作，OpenVPN服务器所在计算机可能需要在TUN/TAP接口与以太网之间使用NAT或桥接技术进行连接)
;push "redirect-gateway def1 bypass-dhcp"

# 某些具体的Windows网络设置可以被推送到客户端，例如DNS或WINS服务器地址。
# 下列地址来自opendns.com提供的Public DNS 服务器。
;push "dhcp-option DNS 208.67.222.222"
;push "dhcp-option DNS 208.67.220.220"

# 去掉该指令的注释将允许不同的客户端之间相互"可见"(允许客户端之间互相访问)。
# 默认情况下，客户端只能"看见"服务器。为了确保客户端只能看见服务器，你还可以在服务器端的TUN/TAP接口上设置适当的防火墙规则。
;client-to-client

# 如果多个客户端可能使用相同的证书/私钥文件或Common Name进行连接，那么你可以取消该指令的注释。
# 建议该指令仅用于测试目的。对于生产使用环境而言，每个客户端都应该拥有自己的证书和私钥。
# 如果你没有为每个客户端分别生成Common Name唯一的证书/私钥，你可以取消该行的注释(但不推荐这样做)。
;duplicate-cn

# keepalive指令将导致类似于ping命令的消息被来回发送，以便于服务器端和客户端知道对方何时被关闭。
# 每10秒钟ping一次，如果120秒内都没有收到对方的回复，则表示远程连接已经关闭。
keepalive 10 120

# 出于SSL/TLS之外更多的安全考虑，创建一个"HMAC 防火墙"可以帮助抵御DoS攻击和UDP端口淹没攻击。
# 你可以使用以下命令来生成：
#   openvpn --genkey --secret ta.key
#
# 服务器和每个客户端都需要拥有该密钥的一个拷贝。
# 第二个参数在服务器端应该为'0'，在客户端应该为'1'。
;tls-auth ta.key 0 # 该文件应该保密

# 选择一个密码加密算法。
# 该配置项也必须复制到每个客户端配置文件中。
;cipher BF-CBC        # Blowfish (默认)
;cipher AES-128-CBC   # AES
;cipher DES-EDE3-CBC  # Triple-DES

# 在VPN连接上启用压缩。
# 如果你在此处启用了该指令，那么也应该在每个客户端配置文件中启用它。
comp-lzo

# 允许并发连接的客户端的最大数量
;max-clients 100

# 在完成初始化工作之后，降低OpenVPN守护进程的权限是个不错的主意。
# 该指令仅限于非Windows系统中使用。
;user nobody
;group nobody

# 持久化选项可以尽量避免访问那些在重启之后由于用户权限降低而无法访问的某些资源。
persist-key
persist-tun

# 输出一个简短的状态文件，用于显示当前的连接状态，该文件每分钟都会清空并重写一次。
status openvpn-status.log

# 默认情况下，日志消息将写入syslog(在Windows系统中，如果以服务方式运行，日志消息将写入OpenVPN安装目录的log文件夹中)。
# 你可以使用log或者log-append来改变这种默认情况。
# "log"方式在每次启动时都会清空之前的日志文件。
# "log-append"这是在之前的日志内容后进行追加。
# 你可以使用两种方式之一(但不要同时使用)。
;log         openvpn.log
;log-append  openvpn.log

# 为日志文件设置适当的冗余级别(0~9)。冗余级别越高，输出的信息越详细。
#
# 0 表示静默运行，只记录致命错误。
# 4 表示合理的常规用法。
# 5 和 6 可以帮助调试连接错误。
# 9 表示极度冗余，输出非常详细的日志信息。
verb 3

# 重复信息的沉默度。
# 相同类别的信息只有前20条会输出到日志文件中。
;mute 20

客户端配置文件

##############################################
# 针对多个客户端的OpenVPN 2.0 的客户端配置文件示例
#
# 该配置文件可以被多个客户端使用，当然每个客户端都应该有自己的证书和密钥文件
#
# 在Windows上此配置文件的后缀应该是".ovpn"，在Linux/BSD系统中则是".conf"
##############################################

# 指定这是一个客户端，我们将从服务器获取某些配置文件指令
client

# 在大多数系统中，除非你部分禁用或者完全禁用了TUN/TAP接口的防火墙，否则VPN将不起作用。
;dev tap
dev tun

# 在Windows系统中，如果你想配置多个隧道，则需要该指令。
# 你需要用到网络连接面板中TAP-Win32适配器的名称(例如"MyTap")。
# 在XP SP2或更高版本的系统中，你可能需要禁用掉针对TAP适配器的防火墙。
;dev-node MyTap

# 指定连接的服务器是采用TCP还是UDP协议。
# 这里需要使用与服务器端相同的设置。
;proto tcp
proto udp

# 指定服务器的主机名(或IP)以及端口号。
# 如果有多个VPN服务器，为了实现负载均衡，你可以设置多个remote指令。
remote my-server-1 1194
;remote my-server-2 1194

# 如果指定了多个remote指令，启用该指令将随机连接其中的一台服务器，
# 否则，客户端将按照指定的先后顺序依次尝试连接服务器。
;remote-random

# 启用该指令，与服务器连接中断后将自动重新连接，这在网络不稳定的情况下(例如：笔记本电脑无线网络)非常有用。
resolv-retry infinite

# 大多数客户端不需要绑定本机特定的端口号
nobind

# 在初始化完毕后，降低OpenVPN的权限(该指令仅限于非Windows系统中使用)
;user nobody
;group nobody

# 持久化选项可以尽量避免访问在重启时由于用户权限降低而无法访问的某些资源。
persist-key
persist-tun

# 如果你是通过HTTP代理方式来连接到实际的VPN服务器，请在此处指定代理服务器的主机名(或IP)和端口号。
# 如果你的代理服务器需要身份认证，请参考官方手册页面。
;http-proxy-retry # 连接失败时自动重试
;http-proxy [proxy server] [proxy port #]

# 无线网络通常会产生大量的重复数据包。设置此标识将忽略掉重复数据包的警告信息。
;mute-replay-warnings

# SSL/TLS 参数配置。
# 更多描述信息请参考服务器端配置文件。
# 最好为每个客户端单独分配.crt/.key文件对。
# 单个CA证书可以供所有客户端使用。
ca ca.crt
cert client.crt
key client.key

# 指定通过检查证书的nsCertType字段是否为"server"来验证服务器端证书。
# 这是预防潜在攻击的一种重要措施。
#
# 为了使用该功能，你需要在生成服务器端证书时，将其中的nsCertType字段设为"server"
# easy-rsa文件夹中的build-key-server脚本文件可以达到该目的。
ns-cert-type server

# 如果服务器端使用了tls-auth密钥，那么每个客户端也都应该有该密钥。
;tls-auth ta.key 1

# 指定密码的加密算法。
# 如果服务器端启用了cipher指令选项，那么你必须也在这里指定它。
;cipher x

# 在VPN连接中启用压缩。
# 该指令的启用/禁用应该与服务器端保持一致。
comp-lzo

# 设置日志文件冗余级别(0~9)。
# 0 表示静默运行，只记录致命错误。
# 4 表示合理的常规用法。
# 5 和 6 可以帮助调试连接错误。
# 9 表示极度冗余，输出非常详细的日志信息。
verb 3

# 忽略过多的重复信息。
# 相同类别的信息只有前20条会输出到日志文件中。
;mute 20

撤销客户端证书

生成/更新 crl.pem

Lvm 笔记

Tue, 29 Oct 2019 21:44:02 +0800

LVM 一览

LVM 结构

PE 物理扩展
PV 物理卷，在设备起始处放置一个标签，包括 uuid，lvm 配置元数据位置以及剩余空间
- PV 可以由分区创建，也可以直接用磁盘创建
VG 卷组
LV 逻辑卷
- Linear 线性卷
- Stripe 条带卷
- RAID raid 逻辑卷
- Mirror 镜像卷
- Thinly-Provision 精简配置逻辑卷
- Snapshot 快照卷
- Thinly-Provisioned Snapshot 精简配置快照卷
- Cache 缓存卷

LVM 相关命令

PV

pvchange 更改物理卷属性
pvck 检查物理卷元数据
pvcreate 初始化磁盘或分区以供lvm使用
pvdisplay 显示物理卷的属性
pvmove 移动物理Exent
pvremove 删除物理卷
pvresize 调整lvm2使用的磁盘或分区的大小
pvs 报告有关物理卷的信息
pvscan 扫描物理卷的所有磁盘

VG

vgcfgbackup 备份卷组描述符区域
vgcfgrestore 恢复卷组描述符区域
vgchange 更改卷组的属性
vgck 检查卷组元数据
vgconvert 转换卷组元数据格式
vgcreate 创建卷组
vgdisplay 显示卷组的属性
vgexport 使卷组对系统不了解（这是个什么）
vgextend 将物理卷添加到卷组
vgimportclone 导入并重命名重复的卷组（例如硬件快照）
vgmerge 合并两个卷组
vgmknodes 重新创建卷组目录和逻辑卷特殊文件
vgreduce 通过删除一个或多个物理卷来减少卷组（将物理卷踢出VG）
vgremove 删除卷组
vgrename 重命名卷组
vgs 报告有关卷组信息
vgscan 扫描卷组的所有磁盘并重建高速缓存
vgsplit 将卷组拆分为两个，通过移动整个物理卷将任何逻辑卷从一个卷组移动到另一个卷组

LV

lvchange 更改逻辑卷属性
lvconvert 将逻辑卷从线性转换为镜像或快照
lvcreate 将现有卷组中创建逻辑卷
lvdisplay 显示逻辑卷的属性
lvextend 扩展逻辑卷的大小
lvmconfig 在加载lvm.conf和任何其他配置文件后显示配置信息
lvmdiskscan 扫描lvm2可见的所有设备
lvmdump 创建lvm2信息转储以用于诊断目的
lvreduce 减少逻辑卷的大小
lvremove 删除逻辑卷
lvrename 重命名逻辑卷
lvresize 调整逻辑卷大小
lvs 报告有关逻辑卷的信息
lvscan 扫描所有的逻辑卷

创建 LVM

将磁盘创建为 pv（物理卷），其实物理磁盘被条带化为 pv，划成了一个一个的 pe，默认每个 pe 大小是 4MB
创建 vg，其实它是一个空间池，不同PV加入同一 vg
创建 lv，组成 lv 的 pe 可能来自不同的物理磁盘
格式化 lv，挂载使用

PV 管理

制作 pv
1

pvcreate /dev/sdb1
删除 pv(需先踢出 vg)
1

pvremove /dev/sdb1
同步物理卷容量
1

pvresize /dev/sdb1

VG 管理

制作 vg

# vgcreate vg_name 磁盘设备或分区
vgcreate datavg /dev/sdb1
vgcreate datavg /dev/sdb1 /dev/sdb2
# -s 指定pe的大小为16M，默认不指定是4M
vgcreate -s 16M datavg2 /dev/sdb3

从 vg 中移除缺失的磁盘

1
2

vgreduce --removemissing datavg
vgreduce --removemissing datavg --force # 强制移除

扩展 vg 空间
1

vgextend datavg /dev/sdb3 /dev/sdc
踢出 vg 中的某个成员
1

vgreduce datavg /dev/sdb3
删除 vg
1

vgremove VG

重命名 vg

`1`	`vgrename xxxx-vgid-xxxx-xxxx new_name`

LV 管理

制作 lv

1
2

# -n lv_name，-L lv_size，datavg(vg name)
lvcreate -n lvdata1 -L 1.5G datavg

激活修复后的逻辑卷

1
2

lvchange -ay /dev/datavg/lvdata1
lvchange -ay /dev/datavg/lvdata1 -K # 强制激活

创建 lvm 快照

# 数据一致性备份
# 先做一个快照，冻结当前系统，这样快照里面的内容可暂时保持不变
# 系统本身继续运行，通过重新挂载备份快照卷，实现不中断服务备份。
lvcreate -s -n kuaizhao01 -L 100M /dev/datavg/lvdata1

删除 lv
1

lvremove /dev/mapper/VG-mylv

扩大一个 lv

用vgdisplay查看vg还有多少空余空间

扩充逻辑卷

1
2
3

lvextend -L +1G /dev/VG/LV01
# -r 表示在扩展的同时也更新文件系统，不是所有的发行版本都支持
lvextend -L +1G /dev/VG/LV01 -r

扩充操作后，df -h 发现大小并没有变，需更新文件系统

# 不同文件系统更新的命令不一样
e2fsck -f /dev/datavg/lvdata1 # ext4 文件系统，检查 lv 的文件系统
resize2fs /dev/VG/LV01 # ext4 文件系统命令，该命令后面接 lv 的设备名就行
xfs_growfs /nas # xfs 文件系统，该命令后面直接跟的是挂载点

更新文件系统后，df -h 正常

缩小一个 lv
- umount 卸载
- 缩小文件系统
  1
  
  resize2fs /dev/VG/LV01 2G
- 缩小 lv
  1
  
  lvreduce -L -1G /dev/VG/LV01
- 查看 lvs，mount 挂载

lvm 灾难恢复

场景: 三块盘做 lvm，现有一物理盘损坏，将剩下两块放到其他linux服务器上
恢复步骤
- 查看磁盘信息，lvm信息，确认能查到lvm相关信息，找到VG组的名字
  1 2 3 4 5
  
  pvs lvs vgs fidsk blkid
- 删除 lvm 信息中损坏的磁盘角色，强制提出故障磁盘
  1
  
  vgreduce --removemissing VG_name
- 强制激活 vg 组
  1
  
  vgchange -ay
- 强制激活 lvm
  1
  
  lvchange -ay /dev/VG_name
- 挂载

CentOS7 yum 安装 Zabbix 4.4

Tue, 29 Oct 2019 21:41:17 +0800

环境

centos 7
nginx 1.16
php 7.2
zabbix 4.4
mysql 5.7

虚拟机

192.168.1.100 安装 nginx, php, mysql, zabbix-server, zabbix-agent
192.168.1.101 安装 zabbix-agent

导入软件源

只在 192.168.1.100 上操作

创建 /etc/yum.repos.d/epel.repo，内容如下

[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/epel/7/$basearch
failovermethod=priority
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

创建 /etc/yum.repos.d/nginx.repo，内容如下

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
enabled=1
gpgcheck=0
gpgkey=https://nginx.org/keys/nginx_signing.key

安装 webtatic 源，用于安装 php7.2

1
2

#这货依赖 epel-release，前面已经手动创建 epel 源，不鸟它！
rpm -Uvh --nodeps https://mirror.webtatic.com/yum/el7/webtatic-release.rpm

创建 /etc/yum.repos.d/mysql5.7.repo，内容如下

[mysql-connectors-community]
name=MySQL Connectors Community
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-connectors-community-el7/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

[mysql-tools-community]
name=MySQL Tools Community
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-tools-community-el7/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql57-community-el7/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

创建 /etc/yum.repos.d/zabbix.repo，内容如下

[zabbix]
name=Zabbix Official Repository - $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.4/rhel/7/$basearch/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX-A14FE591

重建 yum 缓存
1 2

yum clean all yum makecache fast

安装 nginx

安装
1

yum install nginx

修改 /etc/nginx/nginx.conf，内容如下

# Nginx main config
user                 nginx;
pid                  /run/nginx.pid;
error_log            /var/log/nginx/error.log;
worker_processes     auto;
worker_rlimit_nofile 65535;
include              /usr/share/nginx/modules/*.conf;
events {
    use                epoll;
    multi_accept       on;
    worker_connections 10240;
}
http {
    log_format main     '$remote_addr - [$time_local] "$request_method $uri" "$args" '
                        '"-" $status $body_bytes_sent "$http_referer" '
                        '"$http_user_agent" "$http_x_forwarded_for"';
    access_log          /var/log/nginx/access.log main;
    gzip                on;
    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         off;
    server_tokens       off;
    keepalive_timeout   65;
    types_hash_max_size 2048;
    default_type        application/octet-stream;
    include             /etc/nginx/mime.types;
    include             /etc/nginx/conf.d/*.conf;
}

创建 /etc/nginx/conf.d/10080.conf，内容如下

# nginx listen 10080
server {
    listen      10080;
    server_name _;
    location /zabbix/ {
        root       /usr/share;
        access_log /var/log/nginx/access-zabbix.log main;
        index      index.php index.html index.html;
    }
    location ~ ^/zabbix/.+\.php$ {
        root                    /usr/share;
        access_log              /var/log/nginx/access-zabbix.log main;
        index                   index.php index.html index.html;
        expires                 -1s;
        include                 fastcgi_params;
        try_files               $uri =404;
        fastcgi_pass            unix:/var/lib/php/phpfpm.sock;
        fastcgi_index           index.php;
        fastcgi_param           PATH_INFO $fastcgi_path_info;
        fastcgi_param           SCRIPT_FILENAME $document_root$fastcgi_script_name;
        fastcgi_split_path_info ^(.+\.php)(/.+)$;
        break;
    }
    location / {
        access_log /var/log/nginx/access-illegal.log main;
        return     403;
    }
}

开机自启
1

systemctl enable nginx
启动 nginx
1

systemctl start nginx

安装 php

安装

yum install php72w \
    php72w-cli \
    php72w-fpm \
    php72w-gd \
    php72w-mbstring \
    php72w-xml \
    php72w-mysqlnd \
    php72w-bcmath

修改 /etc/php.ini 中如下配置项

max_execution_time = 300
memory_limit = 128M
post_max_size = 16M
upload_max_filesize = 2M
max_input_time = 300
max_input_vars = 10000
date.timezone = PRC
#php 与 mysql 同机可指定 mysql 本地套接字
pdo_mysql.default_socket = /var/lib/mysql/mysql.sock
mysqli.default_socket = /var/lib/mysql/mysql.sock

修改 /etc/php-fpm.d/www.conf 中如下配置

1
2

listen = /var/lib/php/phpfpm.sock
listen.mode = 0666

开机自启
1

systemctl enable php-fpm
启动 php-fpm
1

systemctl start php-fpm

安装 mysql 5.7

安装，参考 CentOS7 yum 安装 MySQL5.7

启动 mysqld 服务，创建 zabbix 数据库及其用户

1
2
3

create database zabbix default charset utf8mb4;
grant all on zabbix.* to zbx@localhost identified by 'Zbx_123456';
flush privileges;

安装 zabbix server

安装

`1`	`yum install zabbix-server-mysql zabbix-web-mysql`

导入 zabbix server 初始数据

`1`	`zcat /usr/share/doc/zabbix-server-mysql*/create.sql.gz \| mysql -uzbx -p -Dzabbix`

修改 /etc/zabbix/zabbix_server.conf 中如下配置

DBName=zabbix
DBUser=zbx
DBPassword=Zbx_123456
DBSocket=/var/lib/mysql/mysql.sock
AllowRoot=1

开机自启
1

systemctl enable zabbix-server
启动 zabbix-server
1

systemctl start zabbix-server

web 界面设置

使用常用浏览器访问: http://192.168.1.100:10080/zabbix/
根据界面提示提供数据库等信息
zabbix 安装完成，进入系统登陆界面，默认 admin/zabbix

安装 zabbix agent

可以直接 yum 安装，这里推荐先下载 rpm 包，方便复制到其他服务器中运行
1

yum install zabbix-agent --downloadonly --downloaddir=.
安装
1

rpm -Uvh zabbix-agent-4.4.*.rpm

修改 /etc/zabbix/zabbix_agentd.conf 中如下配置

EnableRemoteCommands=1
AllowRoot=1
#UnsafeUserParameters=1
#UserParameter=UP[*],/etc/zabbix/UP.sh $1 $2 $3 $4 $5 $6 $7 $8 $9

开机自启
1

systemctl enable zabbix-agent
启动 zabbix-agent
1

systemctl start zabbix-agent

在其它服务器上安装 zabbix agent

从 192.168.1.100 复制 zabbix-agent-4.4.*.rpm 到 192.168.1.101 下
登陆 192.168.1.101，安装 zabbix-agent
1

rpm -Uvh zabbix-agent-4.4.\*.rpm

修改 /etc/zabbix/zabbix_agentd.conf 中如下配置

EnableRemoteCommands=1
Server=192.168.1.100
ServerActive=192.168.1.100:10051
Hostname=app101 #自定义，别和其他 agent 重名即可
AllowRoot=1
#UnsafeUserParameters=1
#UserParameter=UP[*],/etc/zabbix/UP.sh $1 $2 $3 $4 $5 $6 $7 $8 $9

开机自启
1

systemctl enable zabbix-agent
启动 zabbix-agent
1

systemctl start zabbix-agent

Docker 启动 zabbix server

下载镜像

`1`	`docker pull ccr.ccs.tencentyun.com/colben/zabbix`

启动容器

docker run -d \
    --name zabbix-server \
    -p 80:80 \
    -p 10051:10051 \
    ccr.ccs.tencentyun.com/colben/zabbix

浏览器访问 http://{ip}/zabbix/ ，打开 zabbix 页面向导，一直 “下一步” 即可
配置文件
- /etc/my.cnf
- /etc/my.cnf.d/*.cnf
- /etc/nginx/nginx.conf
- /etc/nginx/conf.d
- /etc/zabbix/zabbix_server.conf
数据目录
- /var/lib/mysql
- /var/lib/mysql-bin
日志目录
- /var/log/mysql
- /var/log/nginx
- /var/log/php7
- /var/log/zabbix

软 RAID

Tue, 29 Oct 2019 21:31:58 +0800

mdadm 命令

创建软 raid
1

mdadm -C -v /dev/创建的设备名 -l级别 -n数量添加的磁盘 [-x数量添加的热备份盘]
- -C: 创建一个新的阵列–create
- -v: 显示细节–verbose
- -l: 设定RAID级别–level=
- -n: 指定阵列中可用device数目–raid-devices=
- -x: 指定初始阵列的富余device数目–spare-devices=，空闲盘（热备磁盘）能在工作盘损坏后自动顶替
查看详细信息
1

mdadm -D /dev/设备名
查看 RAID 状态
1

cat /proc/mdstat
模拟损坏
1

mdadm -f /dev/设备名磁盘
移除损坏的磁盘
1

mdadm -r /dev/设备名磁盘
添加新硬盘作为热备份盘
1

mdadm -a /dev/设备名磁盘

RAID0

RAID0俗称条带，它将两个或多个硬盘组成一个逻辑硬盘，容量是所有硬盘之和，因为是多个硬盘组合成一个，故可并行写操作，写入速度提高，但此方式硬盘数据没有冗余，没有容错，一旦一个物理硬盘损坏，则所有数据均丢失。因而，RAID0适合于对数据量大，但安全性要求不高的场景，比如音像、视频文件的存储等
实验: RAID0创建，格式化，挂载使用

添加2块20G的硬盘，分区，类型ID为fd

1
2
3

[root@localhost ~]# fdisk -l | grep raid
/dev/sdb1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdc1            2048    41943039    20970496   fd  Linux raid autodetect

创建RAID0

[root@localhost ~]# mdadm -C -v /dev/md0 -l0 -n2 /dev/sd{b,c}1
mdadm: chunk size defaults to 512K
mdadm: Fail create md0 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.

查看raidstat状态

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid0]
md0 : active raid0 sdc1[1] sdb1[0]
      41906176 blocks super 1.2 512k chunks

unused devices: <none>

查看RAID0的详细信息

[root@localhost ~]# mdadm -D /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Sun Aug 25 15:28:13 2019
        Raid Level : raid0
        Array Size : 41906176 (39.96 GiB 42.91 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 15:28:13 2019
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

        Chunk Size : 512K

Consistency Policy : none

              Name : localhost:0  (local to host localhost)
              UUID : 7ff54c57:b99a59da:6b56c6d5:a4576ccf
            Events : 0

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1

格式化

[root@localhost ~]# mkfs.xfs /dev/md0
meta-data=/dev/md0               isize=512    agcount=16, agsize=654720 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=10475520, imaxpct=25
         =                       sunit=128    swidth=256 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=5120, version=2
         =                       sectsz=512   sunit=8 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载使用

[root@localhost ~]# mkdir /mnt/md0
[root@localhost ~]# mount /dev/md0 /mnt/md0/
[root@localhost ~]# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/CentOS-root xfs        17G 1013M   16G   6% /
devtmpfs                devtmpfs  901M     0  901M   0% /dev
tmpfs                   tmpfs     912M     0  912M   0% /dev/shm
tmpfs                   tmpfs     912M  8.7M  904M   1% /run
tmpfs                   tmpfs     912M     0  912M   0% /sys/fs/cgroup
/dev/sda1               xfs      1014M  143M  872M  15% /boot
tmpfs                   tmpfs     183M     0  183M   0% /run/user/0
/dev/md0                xfs        40G   33M   40G   1% /mnt/md0

RAID1

RAID1俗称镜像，它最少由两个硬盘组成，且两个硬盘上存储的数据均相同，以实现数据冗余。RAID1读操作速度有所提高，写操作理论上与单硬盘速度一样，但由于数据需要同时写入所有硬盘，实际上稍为下降。容错性是所有组合方式里最好的，只要有一块硬盘正常，则能保持正常工作。但它对硬盘容量的利用率则是最低，只有50%，因而成本也是最高。RAID1适合对数据安全性要求非常高的场景，比如存储数据库数据文件之类
实验: RAID1创建，格式化，挂载使用，故障模拟，重新添加热备份

添加3块20G的硬盘，分区，类型ID为fd。

[root@localhost ~]# fdisk -l | grep raid
/dev/sdb1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdc1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdd1            2048    41943039    20970496   fd  Linux raid autodetect

创建RAID1，并添加1个热备份盘。

[root@localhost ~]# mdadm -C -v /dev/md1 -l1 -n2 /dev/sd{b,c}1 -x1 /dev/sdd1
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
mdadm: size set to 20953088K
Continue creating array? y
mdadm: Fail create md1 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md1 started.

查看raidstat状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdd1[2](S) sdc1[1] sdb1[0]
      20953088 blocks super 1.2 [2/2] [UU]
      [========>............]  resync = 44.6% (9345792/20953088) finish=0.9min speed=203996K/sec

unused devices: <none>

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdd1[2](S) sdc1[1] sdb1[0]
      20953088 blocks super 1.2 [2/2] [UU]

unused devices: <none>

查看RAID1的详细信息。

[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
           Version : 1.2
     Creation Time : Sun Aug 25 15:38:44 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 15:39:24 2019
             State : clean, resyncing
    Active Devices : 2
   Working Devices : 3
    Failed Devices : 0
     Spare Devices : 1

Consistency Policy : resync

     Resync Status : 40% complete

              Name : localhost:1  (local to host localhost)
              UUID : b921e8b3:a18e2fc9:11706ba4:ed633dfd
            Events : 6

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1

       2       8       49        -      spare   /dev/sdd1

格式化。

[root@localhost ~]# mkfs.xfs /dev/md1
meta-data=/dev/md1               isize=512    agcount=4, agsize=1309568 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=5238272, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载使用。

[root@localhost ~]# mkdir /mnt/md1
[root@localhost ~]# mount /dev/md1 /mnt/md1/
[root@localhost ~]# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/centos-root xfs        17G 1014M   16G   6% /
devtmpfs                devtmpfs  901M     0  901M   0% /dev
tmpfs                   tmpfs     912M     0  912M   0% /dev/shm
tmpfs                   tmpfs     912M  8.7M  904M   1% /run
tmpfs                   tmpfs     912M     0  912M   0% /sys/fs/cgroup
/dev/sda1               xfs      1014M  143M  872M  15% /boot
tmpfs                   tmpfs     183M     0  183M   0% /run/user/0
/dev/md1                xfs        20G   33M   20G   1% /mnt/md1

创建测试文件。

1
2
3

[root@localhost ~]# touch /mnt/md1/test{1..9}.txt
[root@localhost ~]# ls /mnt/md1/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

故障模拟。

1
2

[root@localhost ~]# mdadm -f /dev/md1 /dev/sdb1
mdadm: set /dev/sdb1 faulty in /dev/md1

查看测试文件。

1
2

[root@localhost ~]# ls /mnt/md1/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdd1[2] sdc1[1] sdb1[0](F)
      20953088 blocks super 1.2 [2/1] [_U]
      [=====>...............]  recovery = 26.7% (5600384/20953088) finish=1.2min speed=200013K/sec

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
           Version : 1.2
     Creation Time : Sun Aug 25 15:38:44 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 15:47:57 2019
             State : active, degraded, recovering
    Active Devices : 1
   Working Devices : 2
    Failed Devices : 1
     Spare Devices : 1

Consistency Policy : resync

    Rebuild Status : 17% complete

              Name : localhost:1  (local to host localhost)
              UUID : b921e8b3:a18e2fc9:11706ba4:ed633dfd
            Events : 22

    Number   Major   Minor   RaidDevice State
       2       8       49        0      spare rebuilding   /dev/sdd1
       1       8       33        1      active sync   /dev/sdc1

       0       8       17        -      faulty   /dev/sdb1

再次查看状态

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdd1[2] sdc1[1] sdb1[0](F)
      20953088 blocks super 1.2 [2/2] [UU]

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
           Version : 1.2
     Creation Time : Sun Aug 25 15:38:44 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 15:49:28 2019
             State : active
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 1
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:1  (local to host localhost)
              UUID : b921e8b3:a18e2fc9:11706ba4:ed633dfd
            Events : 37

    Number   Major   Minor   RaidDevice State
       2       8       49        0      active sync   /dev/sdd1
       1       8       33        1      active sync   /dev/sdc1

       0       8       17        -      faulty   /dev/sdb1

移除损坏的磁盘

[root@localhost ~]# mdadm -r /dev/md1 /dev/sdb1
mdadm: hot removed /dev/sdb1 from /dev/md1

[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
           Version : 1.2
     Creation Time : Sun Aug 25 15:38:44 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 15:52:57 2019
             State : active
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:1  (local to host localhost)
              UUID : b921e8b3:a18e2fc9:11706ba4:ed633dfd
            Events : 38

    Number   Major   Minor   RaidDevice State
       2       8       49        0      active sync   /dev/sdd1
       1       8       33        1      active sync   /dev/sdc1

重新添加热备份盘。

[root@localhost ~]# mdadm -a /dev/md1 /dev/sdb1
mdadm: added /dev/sdb1

[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
           Version : 1.2
     Creation Time : Sun Aug 25 15:38:44 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 15:53:32 2019
             State : active
    Active Devices : 2
   Working Devices : 3
    Failed Devices : 0
     Spare Devices : 1

Consistency Policy : resync

              Name : localhost:1  (local to host localhost)
              UUID : b921e8b3:a18e2fc9:11706ba4:ed633dfd
            Events : 39

    Number   Major   Minor   RaidDevice State
       2       8       49        0      active sync   /dev/sdd1
       1       8       33        1      active sync   /dev/sdc1

       3       8       17        -      spare   /dev/sdb1

RAID5

RAID5最少由三个硬盘组成，它将数据分散存储于阵列中的每个硬盘，并且还伴有一个数据校验位，数据位与校验位通过算法能相互验证，当丢失其中的一位时，RAID控制器能通过算法，利用其它两位数据将丢失的数据进行计算还原。因而RAID5最多能允许一个硬盘损坏，有容错性。RAID5相对于其它的组合方式，在容错与成本方面有一个平衡，因而受到大多数使用者的欢迎。一般的磁盘阵列，最常使用的就是RAID5这种方式
实验: RAID5创建，格式化，挂载使用，故障模拟，重新添加热备份

添加4块20G的硬盘，分区，类型ID为fd。

[root@localhost ~]# fdisk -l | grep raid
/dev/sdb1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdc1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdd1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sde1            2048    41943039    20970496   fd  Linux raid autodetect

创建RAID5，并添加1个热备份盘。

[root@localhost ~]# mdadm -C -v /dev/md5 -l5 -n3 /dev/sd[b-d]1 -x1 /dev/sde1
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: chunk size defaults to 512K
mdadm: size set to 20953088K
mdadm: Fail create md5 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.

查看raidstat状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md5 : active raid5 sdd1[4] sde1[3](S) sdc1[1] sdb1[0]
      41906176 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      [====>................]  recovery = 24.1% (5057340/20953088) finish=1.3min speed=202293K/sec

unused devices: <none>

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md5 : active raid5 sdd1[4] sde1[3](S) sdc1[1] sdb1[0]
      41906176 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

查看RAID5的详细信息。

[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Sun Aug 25 16:13:44 2019
        Raid Level : raid5
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 3
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:15:29 2019
             State : clean
    Active Devices : 3
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 1

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:5  (local to host localhost)
              UUID : a055094e:9adaff79:2edae9b9:0dcc3f1b
            Events : 18

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       4       8       49        2      active sync   /dev/sdd1

       3       8       65        -      spare   /dev/sde1

格式化。

[root@localhost ~]# mkfs.xfs /dev/md5
meta-data=/dev/md5               isize=512    agcount=16, agsize=654720 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=10475520, imaxpct=25
         =                       sunit=128    swidth=256 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=5120, version=2
         =                       sectsz=512   sunit=8 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载使用。

[root@localhost ~]# mkdir /mnt/md5
[root@localhost ~]# mount /dev/md5 /mnt/md5/
[root@localhost ~]# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/centos-root xfs        17G 1014M   16G   6% /
devtmpfs                devtmpfs  901M     0  901M   0% /dev
tmpfs                   tmpfs     912M     0  912M   0% /dev/shm
tmpfs                   tmpfs     912M  8.7M  904M   1% /run
tmpfs                   tmpfs     912M     0  912M   0% /sys/fs/cgroup
/dev/sda1               xfs      1014M  143M  872M  15% /boot
tmpfs                   tmpfs     183M     0  183M   0% /run/user/0
/dev/md5                xfs        40G   33M   40G   1% /mnt/md5

创建测试文件。

1
2
3

[root@localhost ~]# touch /mnt/md5/test{1..9}.txt
[root@localhost ~]# ls /mnt/md5/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

故障模拟。

1
2

[root@localhost ~]# mdadm -f /dev/md5 /dev/sdb1
mdadm: set /dev/sdb1 faulty in /dev/md5

查看测试文件。

1
2

[root@localhost ~]# ls /mnt/md5/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md5 : active raid5 sdd1[4] sde1[3] sdc1[1] sdb1[0](F)
      41906176 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
      [====>................]  recovery = 21.0% (4411136/20953088) finish=1.3min speed=210054K/sec

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Sun Aug 25 16:13:44 2019
        Raid Level : raid5
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 3
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:21:31 2019
             State : clean, degraded, recovering
    Active Devices : 2
   Working Devices : 3
    Failed Devices : 1
     Spare Devices : 1

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

    Rebuild Status : 12% complete

              Name : localhost:5  (local to host localhost)
              UUID : a055094e:9adaff79:2edae9b9:0dcc3f1b
            Events : 23

    Number   Major   Minor   RaidDevice State
       3       8       65        0      spare rebuilding   /dev/sde1
       1       8       33        1      active sync   /dev/sdc1
       4       8       49        2      active sync   /dev/sdd1

       0       8       17        -      faulty   /dev/sdb1

再次查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md5 : active raid5 sdd1[4] sde1[3] sdc1[1] sdb1[0](F)
      41906176 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Sun Aug 25 16:13:44 2019
        Raid Level : raid5
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 3
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:23:09 2019
             State : clean
    Active Devices : 3
   Working Devices : 3
    Failed Devices : 1
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:5  (local to host localhost)
              UUID : a055094e:9adaff79:2edae9b9:0dcc3f1b
            Events : 39

    Number   Major   Minor   RaidDevice State
       3       8       65        0      active sync   /dev/sde1
       1       8       33        1      active sync   /dev/sdc1
       4       8       49        2      active sync   /dev/sdd1

       0       8       17        -      faulty   /dev/sdb1

移除损坏的磁盘。

[root@localhost ~]# mdadm -r /dev/md5 /dev/sdb1
mdadm: hot removed /dev/sdb1 from /dev/md5

[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Sun Aug 25 16:13:44 2019
        Raid Level : raid5
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 3
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:25:01 2019
             State : clean
    Active Devices : 3
   Working Devices : 3
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:5  (local to host localhost)
              UUID : a055094e:9adaff79:2edae9b9:0dcc3f1b
            Events : 40

    Number   Major   Minor   RaidDevice State
       3       8       65        0      active sync   /dev/sde1
       1       8       33        1      active sync   /dev/sdc1
       4       8       49        2      active sync   /dev/sdd1

重新添加热备份盘。

[root@localhost ~]# mdadm -a /dev/md5 /dev/sdb1
mdadm: added /dev/sdb1

[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Sun Aug 25 16:13:44 2019
        Raid Level : raid5
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 3
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:25:22 2019
             State : clean
    Active Devices : 3
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 1

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:5  (local to host localhost)
              UUID : a055094e:9adaff79:2edae9b9:0dcc3f1b
            Events : 41

    Number   Major   Minor   RaidDevice State
       3       8       65        0      active sync   /dev/sde1
       1       8       33        1      active sync   /dev/sdc1
       4       8       49        2      active sync   /dev/sdd1

       5       8       17        -      spare   /dev/sdb1

RAID6

RAID6是在RAID5的基础上改良而成的，RAID6再将数据校验位增加一位，所以允许损坏的硬盘数量也由 RAID5的一个增加到二个。由于同一阵列中两个硬盘同时损坏的概率非常少，所以，RAID6用增加一块硬盘的代价，换来了比RAID5更高的数据安全性
实验: RAID6创建，格式化，挂载使用，故障模拟，重新添加热备份

添加6块20G的硬盘，分区，类型ID为fd。

[root@localhost ~]# fdisk -l | grep raid
/dev/sdb1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdc1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdd1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sde1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdf1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdg1            2048    41943039    20970496   fd  Linux raid autodetect

创建RAID6，并添加2个热备份盘。

[root@localhost ~]# mdadm -C -v /dev/md6 -l6 -n4 /dev/sd[b-e]1 -x2 /dev/sd[f-g]1
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: chunk size defaults to 512K
mdadm: size set to 20953088K
mdadm: Fail create md6 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md6 started.

查看raidstat状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md6 : active raid6 sdg1[5](S) sdf1[4](S) sde1[3] sdd1[2] sdc1[1] sdb1[0]
      41906176 blocks super 1.2 level 6, 512k chunk, algorithm 2 [4/4] [UUUU]
      [===>.................]  resync = 18.9% (3962940/20953088) finish=1.3min speed=208575K/sec

unused devices: <none>

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md6 : active raid6 sdg1[5](S) sdf1[4](S) sde1[3] sdd1[2] sdc1[1] sdb1[0]
      41906176 blocks super 1.2 level 6, 512k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>

查看RAID6的详细信息。

[root@localhost ~]# mdadm -D /dev/md6
/dev/md6:
           Version : 1.2
     Creation Time : Sun Aug 25 16:34:36 2019
        Raid Level : raid6
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 4
     Total Devices : 6
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:34:43 2019
             State : clean, resyncing
    Active Devices : 4
   Working Devices : 6
    Failed Devices : 0
     Spare Devices : 2

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

     Resync Status : 10% complete

              Name : localhost:6  (local to host localhost)
              UUID : 7c3d15a2:4066f2c6:742f3e4c:82aae1bb
            Events : 1

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

       4       8       81        -      spare   /dev/sdf1
       5       8       97        -      spare   /dev/sdg1

格式化。

[root@localhost ~]# mkfs.xfs /dev/md6
meta-data=/dev/md6               isize=512    agcount=16, agsize=654720 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=10475520, imaxpct=25
         =                       sunit=128    swidth=256 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=5120, version=2
         =                       sectsz=512   sunit=8 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载使用。

[root@localhost ~]# mkdir /mnt/md6
[root@localhost ~]# mount /dev/md6 /mnt/md6/
[root@localhost ~]# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/centos-root xfs        17G 1014M   16G   6% /
devtmpfs                devtmpfs  901M     0  901M   0% /dev
tmpfs                   tmpfs     912M     0  912M   0% /dev/shm
tmpfs                   tmpfs     912M  8.7M  903M   1% /run
tmpfs                   tmpfs     912M     0  912M   0% /sys/fs/cgroup
/dev/sda1               xfs      1014M  143M  872M  15% /boot
tmpfs                   tmpfs     183M     0  183M   0% /run/user/0
/dev/md6                xfs        40G   33M   40G   1% /mnt/md6

创建测试文件。

1
2
3

[root@localhost ~]# touch /mnt/md6/test{1..9}.txt
[root@localhost ~]# ls /mnt/md6/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

故障模拟。

[root@localhost ~]# mdadm -f /dev/md6 /dev/sdb1
mdadm: set /dev/sdb1 faulty in /dev/md6
[root@localhost ~]# mdadm -f /dev/md6 /dev/sdc1
mdadm: set /dev/sdc1 faulty in /dev/md6

查看测试文件。

1
2

[root@localhost ~]# ls /mnt/md6/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md6 : active raid6 sdg1[5] sdf1[4] sde1[3] sdd1[2] sdc1[1](F) sdb1[0](F)
      41906176 blocks super 1.2 level 6, 512k chunk, algorithm 2 [4/2] [__UU]
      [====>................]  recovery = 23.8% (4993596/20953088) finish=1.2min speed=208066K/sec

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md6
/dev/md6:
           Version : 1.2
     Creation Time : Sun Aug 25 16:34:36 2019
        Raid Level : raid6
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 4
     Total Devices : 6
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:41:09 2019
             State : clean, degraded, recovering
    Active Devices : 2
   Working Devices : 4
    Failed Devices : 2
     Spare Devices : 2

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

    Rebuild Status : 13% complete

              Name : localhost:6  (local to host localhost)
              UUID : 7c3d15a2:4066f2c6:742f3e4c:82aae1bb
            Events : 27

    Number   Major   Minor   RaidDevice State
       5       8       97        0      spare rebuilding   /dev/sdg1
       4       8       81        1      spare rebuilding   /dev/sdf1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

       0       8       17        -      faulty   /dev/sdb1
       1       8       33        -      faulty   /dev/sdc1

再次查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md6 : active raid6 sdg1[5] sdf1[4] sde1[3] sdd1[2] sdc1[1](F) sdb1[0](F)
      41906176 blocks super 1.2 level 6, 512k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md6
/dev/md6:
           Version : 1.2
     Creation Time : Sun Aug 25 16:34:36 2019
        Raid Level : raid6
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 4
     Total Devices : 6
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:42:42 2019
             State : clean
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 2
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:6  (local to host localhost)
              UUID : 7c3d15a2:4066f2c6:742f3e4c:82aae1bb
            Events : 46

    Number   Major   Minor   RaidDevice State
       5       8       97        0      active sync   /dev/sdg1
       4       8       81        1      active sync   /dev/sdf1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

       0       8       17        -      faulty   /dev/sdb1
       1       8       33        -      faulty   /dev/sdc1

移除损坏的磁盘。

[root@localhost ~]# mdadm -r /dev/md6 /dev/sd{b,c}1
mdadm: hot removed /dev/sdb1 from /dev/md6
mdadm: hot removed /dev/sdc1 from /dev/md6

[root@localhost ~]# mdadm -D /dev/md6
/dev/md6:
           Version : 1.2
     Creation Time : Sun Aug 25 16:34:36 2019
        Raid Level : raid6
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:43:43 2019
             State : clean
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:6  (local to host localhost)
              UUID : 7c3d15a2:4066f2c6:742f3e4c:82aae1bb
            Events : 47

    Number   Major   Minor   RaidDevice State
       5       8       97        0      active sync   /dev/sdg1
       4       8       81        1      active sync   /dev/sdf1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

重新添加热备份盘。

[root@localhost ~]# mdadm -a /dev/md6 /dev/sd{b,c}1
mdadm: added /dev/sdb1
mdadm: added /dev/sdc1

[root@localhost ~]# mdadm -D /dev/md6
/dev/md6:
           Version : 1.2
     Creation Time : Sun Aug 25 16:34:36 2019
        Raid Level : raid6
        Array Size : 41906176 (39.96 GiB 42.91 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 4
     Total Devices : 6
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:44:01 2019
             State : clean
    Active Devices : 4
   Working Devices : 6
    Failed Devices : 0
     Spare Devices : 2

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : resync

              Name : localhost:6  (local to host localhost)
              UUID : 7c3d15a2:4066f2c6:742f3e4c:82aae1bb
            Events : 49

    Number   Major   Minor   RaidDevice State
       5       8       97        0      active sync   /dev/sdg1
       4       8       81        1      active sync   /dev/sdf1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

       6       8       17        -      spare   /dev/sdb1
       7       8       33        -      spare   /dev/sdc1

RAID10

RAID10是先将数据进行镜像操作，然后再对数据进行分组，RAID1在这里就是一个冗余的备份阵列，而RAID0则负责数据的读写阵列。至少要四块盘，两两组合做RAID1，然后做RAID0，RAID10对存储容量的利用率和RAID1一样低，只有50%。Raid10方案造成了50%的磁盘浪费，但是它提供了200%的速度和单磁盘损坏的数据安全性，并且当同时损坏的磁盘不在同一RAID1中，就能保证数据安全性，RAID10能提供比RAID5更好的性能。这种新结构的可扩充性不好，使用此方案比较昂贵
实验: RAID10创建，格式化，挂载使用，故障模拟，重新添加热备份

添加4块20G的硬盘，分区，类型ID为fd。

[root@localhost ~]# fdisk -l | grep raid
/dev/sdb1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdc1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sdd1            2048    41943039    20970496   fd  Linux raid autodetect
/dev/sde1            2048    41943039    20970496   fd  Linux raid autodetect

创建两个RAID1，不添加热备份盘。

[root@localhost ~]# mdadm -C -v /dev/md101 -l1 -n2 /dev/sd{b,c}1
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
mdadm: size set to 20953088K
Continue creating array? y
mdadm: Fail create md101 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md101 started.

[root@localhost ~]# mdadm -C -v /dev/md102 -l1 -n2 /dev/sd{d,e}1
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
mdadm: size set to 20953088K
Continue creating array? y
mdadm: Fail create md102 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md102 started.

查看raidstat状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md102 : active raid1 sde1[1] sdd1[0]
      20953088 blocks super 1.2 [2/2] [UU]
      [=========>...........]  resync = 48.4% (10148224/20953088) finish=0.8min speed=200056K/sec

md101 : active raid1 sdc1[1] sdb1[0]
      20953088 blocks super 1.2 [2/2] [UU]
      [=============>.......]  resync = 69.6% (14604672/20953088) finish=0.5min speed=200052K/sec

unused devices: <none>

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1]
md102 : active raid1 sde1[1] sdd1[0]
      20953088 blocks super 1.2 [2/2] [UU]

md101 : active raid1 sdc1[1] sdb1[0]
      20953088 blocks super 1.2 [2/2] [UU]

unused devices: <none>

查看两个RAID1的详细信息。

[root@localhost ~]# mdadm -D /dev/md101
/dev/md101:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:00 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:53:58 2019
             State : clean, resyncing
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

     Resync Status : 62% complete

              Name : localhost:101  (local to host localhost)
              UUID : 80bb4fc5:1a628936:275ba828:17f23330
            Events : 9

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1

[root@localhost ~]# mdadm -D /dev/md102
/dev/md102:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:23 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:54:02 2019
             State : clean, resyncing
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

     Resync Status : 42% complete

              Name : localhost:102  (local to host localhost)
              UUID : 38abac72:74fa8a53:3a21b5e4:01ae64cd
            Events : 6

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       1       8       65        1      active sync   /dev/sde1

创建RAID10。

[root@localhost ~]# mdadm -C -v /dev/md10 -l0 -n2 /dev/md10{1,2}
mdadm: chunk size defaults to 512K
mdadm: Fail create md10 when using /sys/module/md_mod/parameters/new_array
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md10 started.

查看raidstat状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1] [raid0]
md10 : active raid0 md102[1] md101[0]
      41871360 blocks super 1.2 512k chunks

md102 : active raid1 sde1[1] sdd1[0]
      20953088 blocks super 1.2 [2/2] [UU]

md101 : active raid1 sdc1[1] sdb1[0]
      20953088 blocks super 1.2 [2/2] [UU]

unused devices: <none>

查看RAID10的详细信息。

[root@localhost ~]# mdadm -D /dev/md10
/dev/md10:
           Version : 1.2
     Creation Time : Sun Aug 25 16:56:08 2019
        Raid Level : raid0
        Array Size : 41871360 (39.93 GiB 42.88 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:56:08 2019
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

        Chunk Size : 512K

Consistency Policy : none

              Name : localhost:10  (local to host localhost)
              UUID : 23c6abac:b131a049:db25cac8:686fb045
            Events : 0

    Number   Major   Minor   RaidDevice State
       0       9      101        0      active sync   /dev/md101
       1       9      102        1      active sync   /dev/md102

格式化。

[root@localhost ~]# mkfs.xfs /dev/md10
meta-data=/dev/md10              isize=512    agcount=16, agsize=654208 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=10467328, imaxpct=25
         =                       sunit=128    swidth=256 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=5112, version=2
         =                       sectsz=512   sunit=8 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载使用。

[root@localhost ~]# mkdir /mnt/md10
[root@localhost ~]# mount /dev/md10 /mnt/md10/
[root@localhost ~]# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/mapper/centos-root xfs        17G 1014M   16G   6% /
devtmpfs                devtmpfs  901M     0  901M   0% /dev
tmpfs                   tmpfs     912M     0  912M   0% /dev/shm
tmpfs                   tmpfs     912M  8.7M  903M   1% /run
tmpfs                   tmpfs     912M     0  912M   0% /sys/fs/cgroup
/dev/sda1               xfs      1014M  143M  872M  15% /boot
tmpfs                   tmpfs     183M     0  183M   0% /run/user/0
/dev/md10               xfs        40G   33M   40G   1% /mnt/md10

创建测试文件。

1
2
3

[root@localhost ~]# touch /mnt/md10/test{1..9}.txt
[root@localhost ~]# ls /mnt/md10/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

故障模拟。

[root@localhost ~]# mdadm -f /dev/md101 /dev/sdb1
mdadm: set /dev/sdb1 faulty in /dev/md101
[root@localhost ~]# mdadm -f /dev/md102 /dev/sdd1
mdadm: set /dev/sdd1 faulty in /dev/md102

查看测试文件。

1
2

[root@localhost ~]# ls /mnt/md10/
test1.txt  test2.txt  test3.txt  test4.txt  test5.txt  test6.txt  test7.txt  test8.txt  test9.txt

查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1] [raid0]
md10 : active raid0 md102[1] md101[0]
      41871360 blocks super 1.2 512k chunks

md102 : active raid1 sde1[1] sdd1[0](F)
      20953088 blocks super 1.2 [2/1] [_U]

md101 : active raid1 sdc1[1] sdb1[0](F)
      20953088 blocks super 1.2 [2/1] [_U]

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md101
/dev/md101:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:00 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 17:01:11 2019
             State : clean, degraded
    Active Devices : 1
   Working Devices : 1
    Failed Devices : 1
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:101  (local to host localhost)
              UUID : 80bb4fc5:1a628936:275ba828:17f23330
            Events : 23

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       1       8       33        1      active sync   /dev/sdc1

       0       8       17        -      faulty   /dev/sdb1

[root@localhost ~]# mdadm -D /dev/md102
/dev/md102:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:23 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 17:00:43 2019
             State : clean, degraded
    Active Devices : 1
   Working Devices : 1
    Failed Devices : 1
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:102  (local to host localhost)
              UUID : 38abac72:74fa8a53:3a21b5e4:01ae64cd
            Events : 19

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       1       8       65        1      active sync   /dev/sde1

       0       8       49        -      faulty   /dev/sdd1

[root@localhost ~]# mdadm -D /dev/md10
/dev/md10:
           Version : 1.2
     Creation Time : Sun Aug 25 16:56:08 2019
        Raid Level : raid0
        Array Size : 41871360 (39.93 GiB 42.88 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 16:56:08 2019
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

        Chunk Size : 512K

Consistency Policy : none

              Name : localhost:10  (local to host localhost)
              UUID : 23c6abac:b131a049:db25cac8:686fb045
            Events : 0

    Number   Major   Minor   RaidDevice State
       0       9      101        0      active sync   /dev/md101
       1       9      102        1      active sync   /dev/md102

移除损坏的磁盘。

[root@localhost ~]# mdadm -r /dev/md101 /dev/sdb1
mdadm: hot removed /dev/sdb1 from /dev/md101
[root@localhost ~]# mdadm -r /dev/md102 /dev/sdd1
mdadm: hot removed /dev/sdd1 from /dev/md102

[root@localhost ~]# mdadm -D /dev/md101
/dev/md101:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:00 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 1
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 17:04:59 2019
             State : clean, degraded
    Active Devices : 1
   Working Devices : 1
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:101  (local to host localhost)
              UUID : 80bb4fc5:1a628936:275ba828:17f23330
            Events : 26

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       1       8       33        1      active sync   /dev/sdc1

[root@localhost ~]# mdadm -D /dev/md102
/dev/md102:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:23 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 1
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 17:05:07 2019
             State : clean, degraded
    Active Devices : 1
   Working Devices : 1
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:102  (local to host localhost)
              UUID : 38abac72:74fa8a53:3a21b5e4:01ae64cd
            Events : 20

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       1       8       65        1      active sync   /dev/sde1

重新添加热备份盘。

[root@localhost ~]# mdadm -a /dev/md101 /dev/sdb1
mdadm: added /dev/sdb1
[root@localhost ~]# mdadm -a /dev/md102 /dev/sdd1
mdadm: added /dev/sdd1

再次查看状态。

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1] [raid0]
md10 : active raid0 md102[1] md101[0]
      41871360 blocks super 1.2 512k chunks

md102 : active raid1 sdd1[2] sde1[1]
      20953088 blocks super 1.2 [2/1] [_U]
      [====>................]  recovery = 23.8% (5000704/20953088) finish=1.2min speed=208362K/sec

md101 : active raid1 sdb1[2] sdc1[1]
      20953088 blocks super 1.2 [2/1] [_U]
      [======>..............]  recovery = 32.0% (6712448/20953088) finish=1.1min speed=203407K/sec

unused devices: <none>

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1] [raid0]
md10 : active raid0 md102[1] md101[0]
      41871360 blocks super 1.2 512k chunks

md102 : active raid1 sdd1[2] sde1[1]
      20953088 blocks super 1.2 [2/2] [UU]

md101 : active raid1 sdb1[2] sdc1[1]
      20953088 blocks super 1.2 [2/2] [UU]

unused devices: <none>

[root@localhost ~]# mdadm -D /dev/md101
/dev/md101:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:00 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 17:07:28 2019
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:101  (local to host localhost)
              UUID : 80bb4fc5:1a628936:275ba828:17f23330
            Events : 45

    Number   Major   Minor   RaidDevice State
       2       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1

[root@localhost ~]# mdadm -D /dev/md102
/dev/md102:
           Version : 1.2
     Creation Time : Sun Aug 25 16:53:23 2019
        Raid Level : raid1
        Array Size : 20953088 (19.98 GiB 21.46 GB)
     Used Dev Size : 20953088 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Sun Aug 25 17:07:36 2019
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : localhost:102  (local to host localhost)
              UUID : 38abac72:74fa8a53:3a21b5e4:01ae64cd
            Events : 39

    Number   Major   Minor   RaidDevice State
       2       8       49        0      active sync   /dev/sdd1
       1       8       65        1      active sync   /dev/sde1

常用 RAID 比较

名称	硬盘数量	容量/利用率	读性能	写性能	数据冗余
RAID0	N	N块总和	N倍	N倍	无，一个故障，丢失所有数据
RAID1	N(偶数)	50%	↑	↓	写两个设备，允许一个故障
RAID5	N≥3	(N-1)/N	↑↑	↓	计算校验，允许一个故障
RAID6	N≥4	(N-2)/N	↑↑	↓↓	双重校验，允许两个故障
RAID10	N(偶数，N≥4)	50%	(N/2)倍	(N/2)倍	允许基组中的磁盘各损坏一个

参考

https://www.linuxidc.com/Linux/2019-08/160345.htm

Linux 硬盘随机读写

Tue, 29 Oct 2019 21:29:26 +0800

前言

随机写会导致磁头不停地换道，造成效率的极大降低
顺序写磁头几乎不用换道，或者换道的时间很短

fio 介绍

fio的输出报告中的几个关键指标:
- slat: 是指从 I/O 提交到实际执行 I/O 的时长（Submission latency）
- clat: 是指从 I/O 提交到 I/O 完成的时长（Completion latency）
- lat: 指的是从 fio 创建 I/O 到 I/O 完成的总时长
- bw : 吞吐量
- iops: 每秒 I/O 的次数

同步写测试

同步随机写

使用strace工具查看系统调用

1
2

strace -f -tt -o /tmp/randwrite.log -D fio -name=randwrite -rw=randwrite \
-direct=1 -bs=4k -size=1G -numjobs=1  -group_reporting -filename=/tmp/test.db

提取关键信息

root@wilson-ubuntu:~# strace -f -tt -o /tmp/randwrite.log -D fio -name=randwrite -rw=randwrite \
> -direct=1 -bs=4k -size=1G -numjobs=1  -group_reporting -filename=/tmp/test.db
randwrite: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.2.10
Starting 1 process
...
randwrite: (groupid=0, jobs=1): err= 0: pid=26882: Wed Aug 14 10:39:02 2019
  write: io=1024.0MB, bw=52526KB/s, iops=13131, runt= 19963msec
    clat (usec): min=42, max=18620, avg=56.15, stdev=164.79
     lat (usec): min=42, max=18620, avg=56.39, stdev=164.79
...
    bw (KB  /s): min=50648, max=55208, per=99.96%, avg=52506.03, stdev=1055.83
...

Run status group 0 (all jobs):
  WRITE: io=1024.0MB, aggrb=52525KB/s, minb=52525KB/s, maxb=52525KB/s, mint=19963msec, maxt=19963msec

Disk stats (read/write):
...
  sda: ios=0/262177, merge=0/25, ticks=0/7500, in_queue=7476, util=36.05%

重点关注的信息
- clat: 平均时长56ms左右
- lat: 平均时长56ms左右
- bw: 吞吐量，大概在52M左右

内核调用信息，随机读每一次写入之前都要通过lseek去定位当前的文件偏移量

root@wilson-ubuntu:~# more /tmp/randwrite.log
...
26882 10:38:41.919904 lseek(3, 665198592, SEEK_SET) = 665198592
26882 10:38:41.919920 write(3, "\220\240@\6\371\341\277>\0\200\36\31\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.919969 lseek(3, 4313088, SEEK_SET) = 4313088
26882 10:38:41.919985 write(3, "\220\240@\6\371\341\277>\0\200\36\31\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920032 lseek(3, 455880704, SEEK_SET) = 455880704
26882 10:38:41.920048 write(3, "\220\240@\6\371\341\277>\0\200\36\31\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920096 lseek(3, 338862080, SEEK_SET) = 338862080
26882 10:38:41.920112 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920161 lseek(3, 739086336, SEEK_SET) = 739086336
26882 10:38:41.920177 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920229 lseek(3, 848175104, SEEK_SET) = 848175104
26882 10:38:41.920245 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920296 lseek(3, 1060147200, SEEK_SET) = 1060147200
26882 10:38:41.920312 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920362 lseek(3, 863690752, SEEK_SET) = 863690752
26882 10:38:41.920377 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920428 lseek(3, 279457792, SEEK_SET) = 279457792
26882 10:38:41.920444 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920492 lseek(3, 271794176, SEEK_SET) = 271794176
26882 10:38:41.920508 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
26882 10:38:41.920558 lseek(3, 1067864064, SEEK_SET) = 1067864064
26882 10:38:41.920573 write(3, "\220\240@\6\371\341\277>\0\2402\24\0\0\0\0\202\2\7\320\343\6H\26P\340\277\370\330\30e\30"..., 4096) = 4096
...

同步顺序写

测试顺序写

1
2

strace -f -tt -o /tmp/write.log -D fio -name=write -rw=write \
-direct=1 -bs=4k -size=1G -numjobs=1  -group_reporting -filename=/tmp/test.db

可以看到，吞吐量提升至70M左右

write: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.2.10
Starting 1 process
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/70432KB/0KB /s] [0/17.7K/0 iops] [eta 00m:00s]
write: (groupid=0, jobs=1): err= 0: pid=27005: Wed Aug 14 10:53:02 2019
  write: io=1024.0MB, bw=70238KB/s, iops=17559, runt= 14929msec
    clat (usec): min=43, max=7464, avg=55.95, stdev=56.24
     lat (usec): min=43, max=7465, avg=56.15, stdev=56.25
...
    bw (KB  /s): min=67304, max=72008, per=99.98%, avg=70225.38, stdev=1266.88
...

Run status group 0 (all jobs):
  WRITE: io=1024.0MB, aggrb=70237KB/s, minb=70237KB/s, maxb=70237KB/s, mint=14929msec, maxt=14929msec

Disk stats (read/write):
...
  sda: ios=0/262162, merge=0/10, ticks=0/6948, in_queue=6932, util=46.49%

内核调用

root@wilson-ubuntu:~# more /tmp/write.log
...
27046 10:54:28.194508 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\360\t\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194568 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194627 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194687 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194747 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194807 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194868 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194928 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.194988 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195049 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195110 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195197 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195262 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195330 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195426 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195497 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195567 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195637 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195704 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195757 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195807 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195859 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195910 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.195961 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196012 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196062 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0\220\24\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196112 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196162 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196213 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196265 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196314 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196363 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196414 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196472 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196524 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
27046 10:54:28.196573 write(3, "\0\0\23\0\0\0\0\0\0\300\16\0\0\0\0\0\0 \26\0\0\0\0\0\0\320\17\0\0\0\0\0"..., 4096) = 4096
...

顺序读不需要反复定位文件偏移量，所以能够专注于写操作

异步顺序写

前面 fio 的测试报告中没有发现slat，那是由于上述都是同步操作，对同步 I/O 来说，由于 I/O 提交和 I/O 完成是一个动作，所以 slat 实际上就是 I/O 完成的时间

异步顺序写测试命令

1
2

# 同步顺序写的命令添加 -ioengine=libaio
fio -name=write -rw=write -ioengine=libaio -direct=1 -bs=4k -size=1G -numjobs=1  -group_reporting -filename=/tmp/test.db

slat指标出现，lat 近似等于 slat + clat 之和（avg平均值）；并且换成异步io之后，吞吐量得到了极大的提升，120M左右

write: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.2.10
Starting 1 process
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/119.3MB/0KB /s] [0/30.6K/0 iops] [eta 00m:00s]
write: (groupid=0, jobs=1): err= 0: pid=27258: Wed Aug 14 11:14:36 2019
  write: io=1024.0MB, bw=120443KB/s, iops=30110, runt=  8706msec
    slat (usec): min=3, max=70, avg= 4.31, stdev= 1.56
    clat (usec): min=0, max=8967, avg=28.13, stdev=55.68
     lat (usec): min=22, max=8976, avg=32.53, stdev=55.72
...
    bw (KB  /s): min=118480, max=122880, per=100.00%, avg=120467.29, stdev=1525.68
...

Run status group 0 (all jobs):
  WRITE: io=1024.0MB, aggrb=120442KB/s, minb=120442KB/s, maxb=120442KB/s, mint=8706msec, maxt=8706msec

Disk stats (read/write):
...
  sda: ios=0/262147, merge=0/1, ticks=0/6576, in_queue=6568, util=74.32%

参考

https://www.linuxidc.com/Linux/2019-08/160097.htm

Zabbix 企业微信告警

Tue, 29 Oct 2019 21:26:35 +0800

环境

CentOS7，docker-ce 20.0

启动 zabbix5 容器

docker run -d \
    --net host \
    --name zabbix \
    harbor.colben.cn/general/alpine-zabbix

打开浏览器，访问 http://ip/zabbix/，打开 zabbix web 安装界面

Zabbix 邮件告警

Tue, 29 Oct 2019 21:23:57 +0800

环境

CentOS7
sendEmail 1.56

部署 sendEmail

安装 sendEmail

1
2

curl -O http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gz
tar zxf sendEmail-v1.56.tar.gz && cp sendEmail-v1.56/sendEmail /usr/local/bin/

查看 zabbix_server.conf 找到告警脚本存放目录，即 AlertScriptsPath，默该目录已存在

在该目录下创建 sendemail.sh，内容如下：

#!/bin/bash

recipients="${1//;/ }"
subject="$2"
message="$3"

for recipient in $recipients; do
    /usr/local/bin/sendEmail \
        -f <发件人邮箱> \
        -t $recipient \
        -s <发件人邮箱的服务器> \
        -o tls=no \
        -o message-charset=utf8 \
        -xu <发件人邮箱> \
        -xp <发见人邮箱的密码> \
        -u "$subject" \
        -m "$message" \
        -l /var/log/sendEmail.log &
done
wait

测试，如果正常收到邮件，则表示脚本正常

`1`	`./sendemail.sh person1@email.com;person2@email.com;person3@email.com test_subject test_content`

配置 zabbix

登陆 zabbix web，点击“报警媒介类型”-“创建媒体类型”，打开“报警媒介类型”窗口，配置如下
- 名称：脚本发邮件报警
- 类型：脚本
- 脚本名称： sendemail.sh #注意这里的名称与上一步创建脚本名称一致
- 脚本参数：
  - {ALERT.SENDTO}
  - {ALERT.SUBJECT}
  - {ALERT.MESSAGE}
- 已启用：启用
点击“添加”完成脚本媒介配置
点击“管理”-“用户”-“admin”-“报警媒介”-“添加”，打开“报警媒介”窗口，配置如下
- 类型：脚本发邮件报警
- 收件人：一个或多个收件人email，用空格或分号分隔
点击“添加”完成该报警媒介配置
点击“配置”-“动作”-“Report problems to Zabbix administrators”-“操作”，自定义报警信息

测试

触发器被触发后，收件人邮箱收到告警邮件

rsync 命令

Tue, 29 Oct 2019 21:21:14 +0800

简介

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。
支持：
- 本地复制
- 与其他SSH同步
- 与rsync主机同步

rsyncd 源服务

创建 rsync 配置文件 /etc/rsyncd.conf，内容如下

# 限制客户端登陆身份为 nobody:nobody
uid = nobody
gid = nobody
# 禁锢在源目录下
use chroot = yes
# 指定监听端口，默认监听 tcp 873 端口
port = 873
# 指定监听地址，默认监听全部网卡
address = 192.168.1.101
# 允许访问的客户端地址
hosts allow = 192.168.1.0/24
max connections = 4
# 日志位置
log file = /var/log/rsyncd.log
# PID 文件位置
pid file = /var/run/rsyncd.pid
exclude = lost+found/
transfer logging = yes
timeout = 900
ignore nonreadable = yes
# 同步时不压缩的文件类型
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# 账户文件，每行格式 user:password，权限 600
secrets file = /etc/rsyncd_users.db

[data1]
# 源目录实际路径，注意该目录需要对 nobody 用户可读
path = /path/to/data1
# 描述
comment = sth about dir data1
# 只读
read only = yes
# 授权账户
auth users = backuper

创建备份帐号信息

1
2

echo 'backuper:123456' > /etc/rsyncd_users.db
chmod 0600 /etc/rsyncd_users.db

启动 rsyncd 服务
1

systemctl start rsyncd

rsync 命令选项

-r: 递归模式，包含目录及子目录中所有文件
-l: 对于符号链接文件仍然复制为符号链接文件
-p: 保留文件的权限标记
-t: 保留文件的时间标记
-g: 保留文件的属组标记(仅超级用户使用)
-o: 保留文件的属主标记(仅超级用户使用)
-D: 保留设备文件及其他特殊文件
-a: 归档模式，递归并保留对象属性，等同于 -rlptgoD
-v: 显示同步过程的详细(verbose)信息
-z: 在传输文件时进行压缩(compress)
-H: 保留硬连接文件
-A: 保留ACL属性信息
–delete: 删除目标位置有而原始位置没有的文件
–checksum: 根据对象的校验和来决定是否跳过文件
–password-file: 指定包含密码的文件

简单使用

本地复制，类似 cp 命令
1

rsync -a /etc/passwd 123.txt

与其他 ssh 同步

`1`	`rsync -av root@192.168.1.100:/root/123.txt .`

与 rsync 主机同步

1
2
3

rsync -avz backuper@192.168.1.100::data1 /root
# 或者
rsync -avz rsync://backuper@192.168.1.100/data1 /root

向同步源服务上传文件时，直接调换源参数和目的参数，注意客户端可写上传目录

参考

https://www.linuxidc.com/Linux/2019-08/160108.htm

Tomcat 笔记

Tue, 29 Oct 2019 21:19:44 +0800

部署 jre8

下载 oracle jre8，下载界面

解压

1
2

tar zxf jre-8u221-linux-x64.tar.gz -C /opt/
cd /opt && mv jre-8u221-linux jre

创建 /etc/profile.d/jre.sh，内容如下

1
2

export JAVA_HOME=/opt/jre
export PATH=$JAVA_HOME/bin:$PATH

部署 tomcat8

下载 tomcat

`1`	`curl -O http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.45/bin/apache-tomcat-8.5.45.tar.gz`

解压

1
2

tar zxf apache-tomcat-8.5.45.tar.gz -C /opt/
cd /opt/ && mv apache-tomcat-8.5.45 tomcat

创建文件 /opt/tomcat/bin/setenv.sh，内容如下

export JAVA_HOME=/opt/jre
export JAVA_OPTS="$JAVA_OPTS -server -Xms8192M -Xmx8192M -Xmn3072M -Xss512K -Djava.security.egd=file:/dev/./urandom -XX:+DisableExplicitGC -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -Ddruid.registerToSysProperty=true"
# -Djava.library.path=/opt/tomcat/libs/tcnative # tcnative 库位置
#export CATALINA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=10087"
export CATALINA_PID="/var/run/tomcat.pid"

创建 /usr/lib/systemd/system/tomcat.service 文件，内容如下

[Unit]
Description=The Apache Tomcat
After=network.target

[Service]
Type=forking
PIDFile=/var/run/tomcat.pid
ExecStart=/opt/tomcat/bin/catalina.sh start
ExecStop=/opt/tomcat/bin/catalina.sh stop
SuccessExitStatus=143

[Install]
WantedBy=multi-user.target

启动 tomcat 服务

1
2

systemctl daemon-reload
systemctl start tomcat

验证码字体

`1`	`yum install dejagnu dejavu-sans-mono-fonts dejavu`

python pip

Tue, 29 Oct 2019 21:17:22 +0800

配置 pip 源

创建 $HOME/.pip/pip.conf 文件，内容如下

[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple

[install]
trusted-host=pypi.tuna.tsinghua.edu.cn

[list]
format=columns

ssh 命令

Tue, 29 Oct 2019 21:10:48 +0800

开启端口转发配置

修改 sshd 配置

AllowTcpForwarding yes
GatewayPorts yes
X11Forwarding yes
TCPKeepAlive yes
ClientAliveInterval 60
ClientAliveCountMax 3

ssh 转发用到的参数

-f 后台运行
-N 仅作端口转发，不执行任何命令
-g 绑定端口到全部网卡

本地定向转发

ssh-client 不可达 remote-host, ssh-server 可达 remote-host, ssh 隧道映射 ssh-client 指定端口到 remote-host 指定端口

在 ssh-client 执行

1
2
3

ssh -f -N -g \
    -L [<ssh-client-ip>:]<port on ssh-client>:<remote-host>:<port on remote-host> \
    username@<ssh-server>

远程定向转发

ssh-client 可达 remote-host, ssh-server 不可达 remote-host, ssh 隧道映射 ssh-server 指定端口到 remote-host 指定端口

在 ssh-client 执行

1
2
3

ssh -f -N -g \
    -R [<ssh-server-ip>:]<port on ssh-server>:<remote-host>:<port on remote-host> \
    username@<ssh-server>

动态转发

SOCKS5 代理

在 ssh-client 执行

1
2
3

ssh -f -N -g \
    -D <port on ssh-client> \
    username@<ssh-server>

Ipv6 笔记

Tue, 29 Oct 2019 21:07:06 +0800

CentOS7 禁用 ipv6

方法1

编辑 /etc/sysctl.conf，增加如下内容

1
2

net.ipv6.conf.all.disable_ipv6 =1
net.ipv6.conf.default.disable_ipv6 =1

如果你想要为特定的网卡禁止IPv6，比如，对于enp0s3，添加下面的行
1

net.ipv6.conf.enp0s3.disable_ipv6 =1
生效
1

sysctl -p

方法2

执行下面命令

1
2

echo 1>/proc/sys/net/ipv6/conf/all/disable_ipv6
echo 1>/proc/sys/net/ipv6/conf/default/disable_ipv6

IP 地址分类及内网 IP

Tue, 29 Oct 2019 18:49:31 +0800

私有 IP

A类: 10.0.0.1－10.255.255.254
B类: 172.16.0.1－172.31.255.254
C类: 192.168.0.1－192.168.255.254

地址分类

A类: 一个A类IP地址仅使用第一个8位位组表示网络地址。剩下的3个8位位组表示主机地址。A类地址的第一个位总为0，这一点在数学上限制了A类地址的范围小于 127,127是64+32+16+8+4+2+1的和。最左边位表示128，在这里空缺。因此仅有127个可能的A类网络。A类地址后面的24位(3个点-十进制数)表示可能的主机地址，A类网络地址的范围从1.0.0.0到126.0.0.0。注意只有第一个8位位组表示网络地址，剩余的3个8位位组用于表示第一个8位位组所表示网络中惟一的主机地址，当用于描述网络时这些位置为0。注意技术上讲，127.0.0.0 也是一个A类地址，但是它已被保留作闭环（look back ）测试之用而不能分配给一个网络。每一个A类地址能支持16777214个不同的主机地址，这个数是由2的24次方再减去2得到的。减2是必要的，因为 IP把全0保留为表示网络而全1表示网络内的广播地址。其中10.0.0.0 至10.255.255.255保留，作为局域网地址使用。
B类: 设计B类地址的目的是支持中到大型的网络。B类网络地址范围从128.1.0.0到191.254.0.0。B 类地址蕴含的数学逻辑是相当简单的。一个B类IP地址使用两个8位位组表示网络号，另外两个8位位组表示主机号。B类地址的第1个8位位组的前两位总置为 10，剩下的6位既可以是0也可以是1，这样就限制其范围小于等于191，由128+32+16+8+4+2+1得到。最后的16位( 2个8位位组)标识可能的主机地址。每一个B类地址能支持64534 个惟一的主机地址，这个数由2的16次方减2得到。B类网络仅有16382个。其中172.16.0.0至172.31.255.255保留作为局域网地址使用。
C类: C类地址用于支持大量的小型网络。这类地址可以认为与A类地址正好相反。A类地址使用第一个8位位组表示网络号，剩下的3个表示主机号，而C类地址使用三个8位位组表示网络地址，仅用一个8位位组表示主机号。C类地址的前3位数为110，前两位和为192(128+64)，这形成了C类地址空间的下界。第三位等于十进制数32,这一位为0限制了地址空间的上界。不能使用第三位限制了此8位位组的最大值为255-32等于223。因此C类网络地址范围从 192.0.1.0 至223.255.254.0。最后一个8位位组用于主机寻址。每一个C类地址理论上可支持最大256个主机地址(0～255)，但是仅有254个可用，因为0和255不是有效的主机地址。可以有2097150个不同的C类网络地址。其中192.168.0.0至192.168.255.255保留作为局域网地址使用。
D类: D类地址用于在IP网络中的组播( multicasting ，又称为多目广播)。D类地址的前4位恒为1110 ，预置前3位为1意味着D类地址开始于128+64+32等于224。第4位为0意味着D类地址的最大值为128+64+32+8+4+2+1为239，因此D类地址空间的范围从224.0.0.0到239. 255. 255.254。
E类: E类地址保留作研究之用。因此Internet上没有可用的E类地址。E类地址的前4位恒为1，因此有效的地址范围从240.0.0.0 至255.255.255.255。
总的来说，ip地址分类由第一个八位组的值来确定。任何一个0到127 间的网络地址均是一个A类地址。任何一个128到191间的网络地址是一个B类地址。任何一个192到223 间的网络地址是一个C类地址。任何一个第一个八位组在224到239 间的网络地址是一个组播地址即D类地址。E类保留。

特殊 IP

127.0.0.0: 127是一个保留地址，该地址是指电脑本身，主要作用是预留下作为测试使用，用于网络软件测试以及本地机进程间通信。在Windows系统下，该地址还有一个别名叫“localhost”，无论是哪个程序，一旦使用该地址发送数据，协议软件会立即返回，不进行任何网络传输，除非出错，包含该网络号的分组是不能够出现在任何网络上的。
10.x.x.x、172.16.x.x～172.31.x.x、192.168.x.x: 私有地址，这些地址被大量用于企业内部网络中。一些宽带路由器，也往往使用192.168.1.1作为缺省地址。私有网络由于不与外部互连，因而可能使用随意的IP地址。保留这样的地址供其使用是为了避免以后接入公网时引起地址混乱。使用私有地址的私有网络在接入Internet时，要使用地址翻译 (nat)，将私有地址翻译成公用合法地址。在Internet上，这类地址是不能出现的。
0.0.0.0: 严格意义上来说，0.0.0.0已经不是真正意义上的IP地址了。它表示的是这样一个集合，所有不清楚的主机和目的网络。这里的不清楚是指在本机的路由表里没有特定条目指明如何到达。对本机来说，它就是一个收容所，所有不认识的三无人员，一律送进去。如果你在网络设置中设置了缺省网关，那么Windows系统就会自动产生一个目地址为0.0.0.0的缺省路由。若IP地址全为0，也就是0.0.0.0，则这个IP地址在IP数据报中只能用作源IP地址，这发生在当设备启动时但又不知道自己的IP地址情况下。在使用DHCP分配IP地址的网络环境中，这样的地址是很常见的。用户主机为了获得一个可用的IP地址，就给DHCP服务器发送IP分组，并用这样的地址作为源地址，目的地址为255.255.255.255（因为主机这时还不知道DHCP服务器的IP地址）。
255.255.255.255: 受限制的广播地址，对本机来说，这个地址指本网段内(同一个广播域)的所有主机，该地址用于主机配置过程中IP数据包的目的地址，这时主机可能还不知道它所在网络的网络掩码，甚至连它的IP地址也还不知道。在任何情况下，路由器都会禁止转发目的地址为受限的广播地址的数据包，这样的数据包仅会出现在本地网络中。
224.0.0.1: 组播地址，注意它和广播的区别。从224.0.0.0到239.255.255.255都是这样的地址。224.0.0.1特指所有主机，224.0.0.2特指所有路由器。这样的地址多用于一些特定的程序以及多媒体程序。如果你的主机开启了IRDP(Internet路由发现协议，使用组播功能)功能，那么你的主机路由表中应该有这样一条路由。
169.254..: 如果你的主机使用了DHCP功能自动获得一个IP地址，那么当你的DHCP服务器发生故障或响应时间太长而超出系统规定的一个时间，Windows系统会为你分配这样一个地址。如果你发现你的主机IP地址是个诸如此类的地址，很不幸，十有八九是你的网络不能正常运行了。
直接广播地址: 一个网络中的最后一个地址为直接广播地址，也就是HostID全为1的地址。主机使用这种地址把一个IP数据报发送到本地网段的所有设备上，路由器会转发这种数据报到特定网络上的所有主机。注意：这个地址在IP数据报中只能作为目的地址。另外，直接广播地址使一个网段中可分配给设备的地址数减少了1个。
NetID为0的IP地址: 当某个主机向同一网段上的其他主机发送报文时就可以使用这样的地址，分组也不会被路由器转发。比如12.12.12.0/24这个网络中的一台主机12.12.12.2/24在与同一网络中的另一台主机12.12.12.8/24通信时，目的地址可以是0.0.0.8。