Shell on Colben Notes

Python 调用 Shell 命令

Wed, 30 Oct 2019 17:44:22 +0800

os

阻塞，返回shell执行参数命令的状态,即成功返回0
1

os.system('cat /proc/cpuinfo')
阻塞，返回file read的对象，对该对象进行 read() 可以获取shell执行参数命令的结果，即标准输出
1

os.popen('cat /proc/cpuinfo')

commands

阻塞，返回参数指定的系统文件的详细属性
1

commands.getstatus('/proc/cputinfo')
阻塞，返回shell执行参数命令的结果
1

commands.getoutput('cat /proc/cpuinfo')
阻塞，返回shell状态和shell输出的元组(status, output)
1

commands.getstatusoutput('cat /proc/cpuinfo')

subprocess

阻塞，返回shell状态，禁用 PIPE 参数

`1`	`subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False)`

阻塞，shell 执行成功返回0, 否则无返回，并抛出包含shell错误状态的 CalledProcessError 异常，禁用PIPE参数
1

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False)
阻塞，shell 执行成功返回shell结果，否则无返回，并抛出包含shell错误状态的 CalledProcessError 异常，禁用PIPE参数
1

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False)

Pope

不阻塞，返回Popen对象

subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

subprocess 参数:
- args: 字符串或列表（*nix 下第一项视为命令，后面是命令参数）
- bufsize: 默认 0 不缓冲，1 行缓冲，其他正数表示缓冲大小，负数表示使用系统默认全缓冲
- stdin stdout stderr: subprocess.PIPE 表示管道操作，subprocess.STDOUT 表示输出到标准输出
- preexec_fn: *nix 下子进程被执行前调用
- shell: True 时表示指定命令在shell里解释执行
- subprocess.PIPE: 用于stdin、stdout 和 stderr ，表示创建并写入一个管道
- subprocess.STDOUT: 用于 stderr，表示标准错误重定向到标准输出
Popen 对象属性:
- Popen.poll(): 检查子进程是否结束，0 表示退出
- Popen.wait(): 等待子进程结束，注意子进程是否写管道
- Popen.communicate(input=None): 与子进程交互，字符串数据发送到stdin，并从stdout和stderr读数据，知道EOF，等待子进程结束。注意读写stdin、stdout或stderr时要给定PIPE参数。返回元组(stdoutdata, stderrdata)。
- Popen.send_signal(signal): 给子进程发送信号
- Popen.terminate(): 停止子进程
- Popen.kill(): 杀死子进程
- Popen.stdin Popen.stdout Popen.stderr: PIPE参数时为文件对象，否则None
- Popen.pid: 子进程的进程号
- Popen.returncode None表示子进程没终止，负数-N表示子进程被N号信号终止

Shell 笔记

Wed, 30 Oct 2019 11:29:31 +0800

BASH 脚本的 $ 参数

$$ #shell 本身 PID
$! #shell 最后执行的后台PID
$? #shell 结束代码
$* #参数列表 “$1 $2 … $n”
$@ #参数列表 “$1” “$2” … “$n”
$# #参数个数
$0 #shell 脚本名
$1…$n #shell 位置参数

BASH 字符串处理

# 字符串 str 长度
${#str}
expr length "$str"

# 子串 substr 出现位置，找不到返回 0
expr index "$str" "$substr"

# 子串 substr 开头匹配，找不到返回 0
expr match "$str" "$substr"

# 字符串 str 抽取左起位置 pos 后 长度 len 的子串
${str:$pos}
${str:$pos:$len}
expr substr "$str" $pos $len

# 字符串 str 抽取右起位置 pos 前的子串
${str: -pos}
${str:(pos)}

# 正则 pat 抽取字符串 str 开头子串
expr match "$str" "\($pat\)"
expr "$str" : "\($pat\)"

# 正则 pat 抽取字符串 str 结尾子串
expr match "$str" ".*\($pat\)"
expr "$str" : ".*\($pat\)"

# 删除字符串 str 开头的最短子串 sub
${str#$sub}

# 删除字符串 str 开头的最长子串 sub
${str##$sub}

# 删除字符串 str 结尾的最短子串 sub
${str%$sub}

# 删除字符串 str 结尾的最长子串 sub
${str%%$sub}

# 替换字符串 str 第一个子串 sub 为字符串 rep
${str/"$sub"/"$rep"}

# 替换字符串 str 所有子串 sub 为字符串 rep
${str//"$sub"/"$rep"}

# 替换字符串 str 开头的子串 sub 为字符串 rep
${str/#"$sub"/"$rep"}

# 替换字符串 str 结尾的子串 sub 为字符串 rep
${str/%"$sub"/"$rep"}

# var为空或没有设置，代入word，否则代入var值
${var:-word}

# 如果var已经被设置且不为空，则代入它的值，否则代入word，并且在后面var始终为word的值。位置参量不能用这种方式赋值。
${variable:=word}

# 如果变量var已被设置且值为非空，代入word值，否则什么也不代入
${variable:+word}

# 如果变量var已被设置值且为非空，就代入它的值，否则输出word并从shell中退出，如果有省略了word,就会显示信息：parameter null or not set.
${var:?word}

BASH 数组

# 定义数组，有三种方式
declare -a array
array=()
array[0]='value0'

# 打印数组第一个元素
echo ${array[0]}

# 打印数组所有元素，有两种方式
echo ${array[@]}
echo ${array[*]}

# 打印数组所有索引，有两种方式
echo ${!array[@]}
echo ${!array[*]}

# 打印数组的元素个数，有两种方式
echo ${#array[@]}
echo ${#array[*]}

# 移除数组中索引为2的元素
unset array[2]

# 添加id为3的元素
array[3]=""

BASH 字典

# 定义字典
declare -A dict

# 新增或修改键 k1 的值
dict['k1']='v1'

# 打印对应键的值
echo $['k1']

# 打印字典所有元素，有两种方式
echo ${dict[@]}
echo ${dict[*]}

# 打印字典所有键，有两种方式
echo ${!dict[@]}
echo ${!dict[*]}

# 打印字典的元素个数，有两种方式
echo ${#dict[@]}
echo ${#dict[*]}

# 移除键 k1
unset dict['k1']

终端环境变量 PS1 参数

\d 日期，格式为weekday month date，例如：“Mon Aug 1”
\H 完整的主机名称
\h 仅取主机的第一个名字
\t 显示时间为24小时格式，如 HH:MM:SS
\T 显示时间为12小时格式
\A 显示时间为24小时格式 HH:MM
\u 当前用户的账号名称
\v BASH的版本信息
\w 完整的工作目录名称
\W 利用basename取得工作目录名称，所以只会列出最后一个目录
# 下达的第几个命令
$ 提示字符，root 下提示符是 #，普通用户是 $
\[\e[i;j;km\] \[\e[0m\] 建议PS1使用这种颜色控制字符

终端颜色 \033[F;Bm 控制编码

F30 B40 黑色
F31 B41 红色
F32 B42 绿色
F33 B43 黄色
F34 B44 蓝色
F35 B45 紫红色
F36 B46 青蓝色
F37 B47 白色

终端光标位置

\033[K 清除从光标到行尾的内容
\033[s 保存光标位置
\033[u 恢复光标位置
\033[0m 关闭所有属性
\033[1m 设置高亮度
\033[4m 下划线
\033[5m 闪烁
\033[7m 反显
\033[8m 消隐
\033[nA 光标上移n行
\033[nB 光标下移n行
\033[nC 光标右移n行
\033[nD 光标左移n行
\033[2J 清屏
\033[?25l 隐藏光标
\033[?25h 显示光标
\033[y;xH 设置光标位置

解析迅雷链接

echo 迅雷专用地址(去掉头 thunder://)|base64 -d
去掉头部 AA 和尾部 ZZ

expect 自动输入密码

expect<<END
    spawn ssh $DEST_HOST "REMOTE_COMMAND"
    expect {
        "*yes/no*" { send "yes\r"; exp_continue }
        "*assword*" { send "password\r" }
    }
    expect eof
END

普通用户(username)免密 sudo

echo "username ALL = (root) NOPASSWD:ALL" >> /etc/sudoers
# 或
echo "cephdeploy ALL = (root) NOPASSWD:ALL" > /etc/sudoers.d/username
chmod 0400 /etc/sudoers.d/username

用户登陆操作记录

xargs 命令

Tue, 29 Oct 2019 18:43:36 +0800

基本使用

把标准输入转换成命令行参数，传递给 xargs 后的命令使用

1
2
3

echo 'one two three' | xargs mkdir
# 等于
mkdir one two three

默认命令 echo

1
2
3

seq 1 8 | xargs
# 等于
seq 1 8 | xargs echo

-d 指定分隔符，默认是换行和空格

`1`	`echo -e "a\tb\tc" \| xargs -d "\t" echo`

-p 打印出要执行的命令，并询问用户是否执行
-t 打印出要执行的命令，直接执行
-0 指定 null 当作分隔符，一般用于分隔包含空格的字符串列表
1

find /path -type f -print0 | xargs -0 rm
-L 指定标准输入中的多少行作为一个参数
-n 一行中可能包含空格分隔的多项，该参数指定每次将多少项作为命令行参数
-I 指定每一项命令行参数的替代字符串
1

seq 1 8 | xargs -I PAT echo PAT
-P 指定同时使用多少个进程执行命令，默认只用一个，0 表示不限制
–show-limits 查看系统命令行缓冲上限