Shell on Colben Notes

Shell 笔记

Wed, 30 Oct 2019 11:29:31 +0800

BASH 脚本的 $ 参数

$$ #shell 本身 PID
$! #shell 最后执行的后台PID
$? #shell 结束代码
$* #参数列表 “$1 $2 … $n”
$@ #参数列表 “$1” “$2” … “$n”
$# #参数个数
$0 #shell 脚本名
$1…$n #shell 位置参数

BASH 字符串处理

# 字符串 str 长度
${#str}
expr length "$str"

# 子串 substr 出现位置，找不到返回 0
expr index "$str" "$substr"

# 子串 substr 开头匹配，找不到返回 0
expr match "$str" "$substr"

# 字符串 str 抽取左起位置 pos 后 长度 len 的子串
${str:$pos}
${str:$pos:$len}
expr substr "$str" $pos $len

# 字符串 str 抽取右起位置 pos 前的子串
${str: -pos}
${str:(pos)}

# 正则 pat 抽取字符串 str 开头子串
expr match "$str" "\($pat\)"
expr "$str" : "\($pat\)"

# 正则 pat 抽取字符串 str 结尾子串
expr match "$str" ".*\($pat\)"
expr "$str" : ".*\($pat\)"

# 删除字符串 str 开头的最短子串 sub
${str#$sub}

# 删除字符串 str 开头的最长子串 sub
${str##$sub}

# 删除字符串 str 结尾的最短子串 sub
${str%$sub}

# 删除字符串 str 结尾的最长子串 sub
${str%%$sub}

# 替换字符串 str 第一个子串 sub 为字符串 rep
${str/"$sub"/"$rep"}

# 替换字符串 str 所有子串 sub 为字符串 rep
${str//"$sub"/"$rep"}

# 替换字符串 str 开头的子串 sub 为字符串 rep
${str/#"$sub"/"$rep"}

# 替换字符串 str 结尾的子串 sub 为字符串 rep
${str/%"$sub"/"$rep"}

# var为空或没有设置，代入word，否则代入var值
${var:-word}

# 如果var已经被设置且不为空，则代入它的值，否则代入word，并且在后面var始终为word的值。位置参量不能用这种方式赋值。
${variable:=word}

# 如果变量var已被设置且值为非空，代入word值，否则什么也不代入
${variable:+word}

# 如果变量var已被设置值且为非空，就代入它的值，否则输出word并从shell中退出，如果有省略了word,就会显示信息：parameter null or not set.
${var:?word}

BASH 数组

# 定义数组，有三种方式
declare -a array
array=()
array[0]='value0'

# 打印数组第一个元素
echo ${array[0]}

# 打印数组所有元素，有两种方式
echo ${array[@]}
echo ${array[*]}

# 打印数组所有索引，有两种方式
echo ${!array[@]}
echo ${!array[*]}

# 打印数组的元素个数，有两种方式
echo ${#array[@]}
echo ${#array[*]}

# 移除数组中索引为2的元素
unset array[2]

# 添加id为3的元素
array[3]=""

BASH 字典

# 定义字典
declare -A dict

# 新增或修改键 k1 的值
dict['k1']='v1'

# 打印对应键的值
echo $['k1']

# 打印字典所有元素，有两种方式
echo ${dict[@]}
echo ${dict[*]}

# 打印字典所有键，有两种方式
echo ${!dict[@]}
echo ${!dict[*]}

# 打印字典的元素个数，有两种方式
echo ${#dict[@]}
echo ${#dict[*]}

# 移除键 k1
unset dict['k1']

终端环境变量 PS1 参数

\d 日期，格式为weekday month date，例如：“Mon Aug 1”
\H 完整的主机名称
\h 仅取主机的第一个名字
\t 显示时间为24小时格式，如 HH:MM:SS
\T 显示时间为12小时格式
\A 显示时间为24小时格式 HH:MM
\u 当前用户的账号名称
\v BASH的版本信息
\w 完整的工作目录名称
\W 利用basename取得工作目录名称，所以只会列出最后一个目录
# 下达的第几个命令
$ 提示字符，root 下提示符是 #，普通用户是 $
\[\e[i;j;km\] \[\e[0m\] 建议PS1使用这种颜色控制字符

终端颜色 \033[F;Bm 控制编码

F30 B40 黑色
F31 B41 红色
F32 B42 绿色
F33 B43 黄色
F34 B44 蓝色
F35 B45 紫红色
F36 B46 青蓝色
F37 B47 白色

终端光标位置

\033[K 清除从光标到行尾的内容
\033[s 保存光标位置
\033[u 恢复光标位置
\033[0m 关闭所有属性
\033[1m 设置高亮度
\033[4m 下划线
\033[5m 闪烁
\033[7m 反显
\033[8m 消隐
\033[nA 光标上移n行
\033[nB 光标下移n行
\033[nC 光标右移n行
\033[nD 光标左移n行
\033[2J 清屏
\033[?25l 隐藏光标
\033[?25h 显示光标
\033[y;xH 设置光标位置

解析迅雷链接

echo 迅雷专用地址(去掉头 thunder://)|base64 -d
去掉头部 AA 和尾部 ZZ

expect 自动输入密码

expect<<END
    spawn ssh $DEST_HOST "REMOTE_COMMAND"
    expect {
        "*yes/no*" { send "yes\r"; exp_continue }
        "*assword*" { send "password\r" }
    }
    expect eof
END

普通用户(username)免密 sudo

echo "username ALL = (root) NOPASSWD:ALL" >> /etc/sudoers
# 或
echo "cephdeploy ALL = (root) NOPASSWD:ALL" > /etc/sudoers.d/username
chmod 0400 /etc/sudoers.d/username

用户登陆操作记录

sed 命令

Wed, 30 Oct 2019 00:56:26 +0800

流程

每次从输入中读取一行
匹配数据
修改数据
输出数据(默认 stdout)

选项

-e 执行多个编辑命令

1
2

sed -e 's/root/ROOT/g; s/bin/BIN/g' /etc/passwd
sed -e 's/root/ROOT/g' -e 's/bin/BIN/g' /etc/passwd

-f 从指定文件中获取 sed 命令

cat > script.sed <<EOF
s/root/ROOT/
s/bin/BIN/
s/home/HOME/
EOF
sed -f script.sed /etc/passwd

-n 不输出数据(只是编辑器不输出，与编辑命令无关)
-i 直接修改文件本身
-r 扩展正则表达式，不需要繁琐的转义

命令

命令	描述
s	替换文本
d	删除行
i	匹配行上插入新行
a	匹配行下插入新行
c	匹配行替换
y	逐个字符替换文本
p	打印行
=	打印行号
w	写入指定文件
r	读出指定文件

高级命令

命令	描述
x	交换模式空间与保持空间内容
d	删除当前模式空间内容，并进入下一个循环
D	删除多行模式空间中的首行，并进入下一个循环
n	读取匹配到的下一行至模式空间 [会覆盖模式空间原有的值]
N	读取匹配到的下一行至模式空间 [追加到原有内容后]
h	复制模式空间内容，到保持空间，覆盖
H	复制模式空间内容，到保持空间，追加
g	复制保持空间内容，到模式空间，覆盖
G	复制保持空间内容，到模式空间，追加

模式空间(pattern space): 所有的处理动作都在这里，默认打印到终端
保持空间(hold space): 数据暂存区域，类似中间变量
循环标签
- 格式: sed -n ‘:标签名范围1 命令1; /模式/b 标签名’ filename
- 调用: b, t, T

使用

默认只替换在每行第一次出现目标文本
1

sed 's/root/ROOT/' /etc/passwd
数字替换标记，替换每行的第二个 root 为 ROOT
1

sed 's/root/ROOT/2' /etc/passwd
g 替换标记，替换所有匹配的 root 为 ROOT
1

sed 's/root/ROOT/g' /etc/passwd
替换每行第二次开始及之后的 root 为 ROOT
1

sed 's/root/ROOT/2g' /etc/passwd
打印被替换过的行
1

sed -n 's/root/ROOT/gp' /etc/passwd

把被替换过的行写入 change.txt 中

`1`	`sed -n 's/root/ROOT/g w change.txt' /etc/passwd`

将第3行中所有的 bin 替换成 BIN
1

sed '3 s/bin/BIN/g' /etc/passwd
将第2到5行中所有的 bin 替换成 BIN
1

sed '2,5 s/bin/BIN/g' /etc/passwd
将第10行到最后一行中所有的 bin 替换成 BIN
1

sed '10,$ s/bin/BIN/g' /etc/passwd
寻找包含有字符串 root 的行，并将匹配行的 bin 替换为 BIN
1

sed -n '/root/s/bin/BIN/p' /etc/passwd
从匹配 root 的行开始替换 bin 为 BIN，直到匹配 nologin 的行，循环
1

sed -n '/root/,/nologin/s/bin/BIN/p' /etc/passwd
删除匹配 root 的行
1

sed '/root/d' /etc/passwd
删除第2到最后一行
1

sed '2,$d' /etc/passwd
删除匹配 root 行及其下面两行
1

sed '/root/,+2d' /etc/passwd
保留第四、五、六三行，其他行删除
1

sed '4,6!d' /etc/passwd
每一行前面增加一个行 AAAA
1

sed 'iAAAA' /etc/passwd
第一行前面增加一个行 AAAA
1

sed '1iAAAA' /etc/passwd
第三行后面增加一个行 AAAA
1

sed '3aAAAA' /etc/passwd
最后一行后面增加一个行 AAAA
1

sed '$aAAAA' /etc/passwd

逐个字符替换

1
2

echo abcdefggfedcba | sed 'y/acg/ACG/'
# 输出 AbCdefGGfedCbA

把第1行到第4行写入 test.txt
1

sed '1,4w test.txt' /etc/passwd
把 test.txt 的内容插入第三行后
1

sed '3r test.txt' /etc/passwd

把 000_00000000 换成 000.00000000

1
2
3

sed -i 's/\([0-9]\{3\}\)_\([0-9]\{8\}\)/\1.\2/g' phone_file
# 或者
sed -i -r 's/([0-9]{3})_([0-9]{8})/\1.\2/g' phone_file

替换 root 为 (root)
1

sed -i 's/root/(&)/g' file_name
把匹配 AAAA 行下的第二行中的 BBBB 改成 CCCC
1

sed -i '/AAAA/{n;n;s/BBBB/CCCC/g}' file_name
在匹配 AAAA 行下的第三行下添加 CCCC 一行
1

sed -i '/AAAA/{n;n;n;s/$/\nCCCC/}' file_name

参考

Sed 介绍和教程

awk 命令

Wed, 30 Oct 2019 00:47:01 +0800

格式

awk -F ‘分隔符正则’ -v 变量名=值 ‘BEGIN{动作} 条件{动作} END{动作}’ 文件1 文件2 …
awk -F ‘分隔符正则’ -f awk脚本文件名文件1 文件2 …

常用内置变量

变量	说明
$0	当前记录
$1~$n	当前记录的第n个字段，字段间由FS分隔
FS	输入字段分隔符默认是空格
NF	当前记录中的字段个数，就是有多少列
NR	awk 开始执行程序后所读取的数据行数，就是行号，从1开始
RS	输入的记录他隔符默认为换行符
OFS	输出字段分隔符默认也是空格
ORS	输出的记录分隔符，默认为换行符
FNR	当前记录数，awk每打开一个新文件,FNR便从0重新累计
ARGC	命令行参数个数
ARGV	命令行参数字典，ARGV[0] 是 ‘awk’，ARGV[1] 是 FILENAME
FILENAME	当前输入文件的名字
IGNORECASE	如果为真，则进行忽略大小写的匹配
ENVIRON	UNIX环境变量，如 ENVIRON[“PATH”]
FIELDWIDTHS	输入字段宽度的空白分隔字符串
OFMT	数字的输出格式(默认值是%.6g)
RSTART	被 match 匹配函数匹配的字符串位置
RLENGTH	被 match 匹配函数匹配的字符串长度

函数

常用内置函数

函数	说明
int(x)	返回 x 的整数部分
rand()	返回 0 到 1 之间的浮点数
gsub(Ere, “dest”, str)	把 str 中匹配扩展正则 Ere 的全部子串换成字符串 “dest”
sub(Ere, “dest”, str)	把 str 中匹配扩展正则 Ere 的第一个子串换成字符串 “dest”
substr(str, start, len)	返回 str 中从 start 开始(长度为 len )的子串
index(str1, str2)	返回 str1 中出现 str2 的位置，如果未找到，返回 0
length(str)	返回 str 的字符个数，如果未指定 str，返回 $0 包含字符个数
blength(str)	返回 str 的字节个数，如果未指定 str，返回 $0 包含字节个数
match(str, Ere)	返回 str 中匹配扩展正则 Ere 的位置，如果未找到，返回 0
split(str, arr, Ere)	把 str 按照扩展正则 Ere 切分成字典，存储到 arr 中，返回字典长度
tolower(str)	把 str 换成小写
toupper(str)	把 str 换成大写
sprintf("%s-%d", “abcd”, 1234)	返回 abcd-1234
strtonum(str)	返回十进制数字
delete arr[n]	删除字典/字典的对应元素
getline	读入当前行的下一行，重写变量 0
next	停止处理当前记录，开始处理下一行
nextfile	停止处理当前文件，开始处理下一个文件
system(shell-command)	返回命令退出状态
exit n	终止 awk，返回 n

自定义函数

格式

function fun_name(arg1, arg2, ...){
    #函数体
    return
}

判断语句

if(条件){
    # 语句
}else if(条件){
    # 语句
}else{
    # 语句
}

循环语句

for

for(初始化;条件;变化){
    # 语句
}
for(变量 in 字典){
    # 语句
}

while
1 2 3

while(条件){ # 语句 }
do while
1 2 3

do{ # 语句 }while(条件)
break 退出当前循环体
continue 退出本次循环，继续下一次循环

脚本

#!/usr/bin/awk -f

# 自定义的变量和函数
# ...

# 从这里开始执行
BEGIN{
    # 语句
}
条件{
    # 语句
}
END{
    # 语句
}

其他说明

变量在使用时直接赋值即可，无需提前声明或定义
个人认为，awk 没有数组只有字典，数组是键为整数的字典
运算符(+, -, *, /, ++, – 等)和关系符操作(>, >=, <, <=, ~~, !~~ 等)与 C 基本一致，也支持三目运算符(条件?值1:值2)

shell 中 awk 执行显式命令时，加载 shell 中的变量

#!/bin/bash
shell_value='abcd'
echo | awk '{print "'$shell_value'"}'
# 输出 abcd

参考

rsync 命令

Tue, 29 Oct 2019 21:21:14 +0800

简介

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。
支持：
- 本地复制
- 与其他SSH同步
- 与rsync主机同步

rsyncd 源服务

创建 rsync 配置文件 /etc/rsyncd.conf，内容如下

# 限制客户端登陆身份为 nobody:nobody
uid = nobody
gid = nobody
# 禁锢在源目录下
use chroot = yes
# 指定监听端口，默认监听 tcp 873 端口
port = 873
# 指定监听地址，默认监听全部网卡
address = 192.168.1.101
# 允许访问的客户端地址
hosts allow = 192.168.1.0/24
max connections = 4
# 日志位置
log file = /var/log/rsyncd.log
# PID 文件位置
pid file = /var/run/rsyncd.pid
exclude = lost+found/
transfer logging = yes
timeout = 900
ignore nonreadable = yes
# 同步时不压缩的文件类型
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# 账户文件，每行格式 user:password，权限 600
secrets file = /etc/rsyncd_users.db

[data1]
# 源目录实际路径，注意该目录需要对 nobody 用户可读
path = /path/to/data1
# 描述
comment = sth about dir data1
# 只读
read only = yes
# 授权账户
auth users = backuper

创建备份帐号信息

1
2

echo 'backuper:123456' > /etc/rsyncd_users.db
chmod 0600 /etc/rsyncd_users.db

启动 rsyncd 服务
1

systemctl start rsyncd

rsync 命令选项

-r: 递归模式，包含目录及子目录中所有文件
-l: 对于符号链接文件仍然复制为符号链接文件
-p: 保留文件的权限标记
-t: 保留文件的时间标记
-g: 保留文件的属组标记(仅超级用户使用)
-o: 保留文件的属主标记(仅超级用户使用)
-D: 保留设备文件及其他特殊文件
-a: 归档模式，递归并保留对象属性，等同于 -rlptgoD
-v: 显示同步过程的详细(verbose)信息
-z: 在传输文件时进行压缩(compress)
-H: 保留硬连接文件
-A: 保留ACL属性信息
–delete: 删除目标位置有而原始位置没有的文件
–checksum: 根据对象的校验和来决定是否跳过文件
–password-file: 指定包含密码的文件

简单使用

本地复制，类似 cp 命令
1

rsync -a /etc/passwd 123.txt

与其他 ssh 同步

`1`	`rsync -av root@192.168.1.100:/root/123.txt .`

与 rsync 主机同步

1
2
3

rsync -avz backuper@192.168.1.100::data1 /root
# 或者
rsync -avz rsync://backuper@192.168.1.100/data1 /root

向同步源服务上传文件时，直接调换源参数和目的参数，注意客户端可写上传目录

参考

https://www.linuxidc.com/Linux/2019-08/160108.htm

ssh 命令

Tue, 29 Oct 2019 21:10:48 +0800

开启端口转发配置

修改 sshd 配置

AllowTcpForwarding yes
GatewayPorts yes
X11Forwarding yes
TCPKeepAlive yes
ClientAliveInterval 60
ClientAliveCountMax 3

ssh 转发用到的参数

-f 后台运行
-N 仅作端口转发，不执行任何命令
-g 绑定端口到全部网卡

本地定向转发

ssh-client 不可达 remote-host, ssh-server 可达 remote-host, ssh 隧道映射 ssh-client 指定端口到 remote-host 指定端口

在 ssh-client 执行

1
2
3

ssh -f -N -g \
    -L [<ssh-client-ip>:]<port on ssh-client>:<remote-host>:<port on remote-host> \
    username@<ssh-server>

远程定向转发

ssh-client 可达 remote-host, ssh-server 不可达 remote-host, ssh 隧道映射 ssh-server 指定端口到 remote-host 指定端口

在 ssh-client 执行

1
2
3

ssh -f -N -g \
    -R [<ssh-server-ip>:]<port on ssh-server>:<remote-host>:<port on remote-host> \
    username@<ssh-server>

动态转发

SOCKS5 代理

在 ssh-client 执行

1
2
3

ssh -f -N -g \
    -D <port on ssh-client> \
    username@<ssh-server>

xargs 命令

Tue, 29 Oct 2019 18:43:36 +0800

基本使用

把标准输入转换成命令行参数，传递给 xargs 后的命令使用

1
2
3

echo 'one two three' | xargs mkdir
# 等于
mkdir one two three

默认命令 echo

1
2
3

seq 1 8 | xargs
# 等于
seq 1 8 | xargs echo

-d 指定分隔符，默认是换行和空格

`1`	`echo -e "a\tb\tc" \| xargs -d "\t" echo`

-p 打印出要执行的命令，并询问用户是否执行
-t 打印出要执行的命令，直接执行
-0 指定 null 当作分隔符，一般用于分隔包含空格的字符串列表
1

find /path -type f -print0 | xargs -0 rm
-L 指定标准输入中的多少行作为一个参数
-n 一行中可能包含空格分隔的多项，该参数指定每次将多少项作为命令行参数
-I 指定每一项命令行参数的替代字符串
1

seq 1 8 | xargs -I PAT echo PAT
-P 指定同时使用多少个进程执行命令，默认只用一个，0 表示不限制
–show-limits 查看系统命令行缓冲上限