Python on Colben Notes

Python 的 ConfigParser 模块

Wed, 30 Oct 2019 18:04:09 +0800

样例文件

该类配置文件可以包含一个或多个节（section），每个节可以有多个参数（键=值）。

样例配置文件（/proj/conf/example_conf）

[book]
title:ConfigParser模块教程
author:大头爸爸
email:366500050@qq.com
time:2012-09-20 22:04:55
[size]
size:1024
[other]
blog:csdn.net

上面配置文件中用的是冒号，也可以用等号。

读取配置文件

示例文件: example.py

# -*- coding: utf-8 -*-
import ConfigParser
import string
config=ConfigParser.ConfigParser()
config.read(u'/proj/conf/example_conf')
print string.upper(config.get("book","title")),
print "by",config.get("book","author"),
print "("+config.get("book","email")+")"
print
print config.get("size","size")
print
print config.sections()
for section in config.sections():
    print section
    for option in config.options(section):
        print " ",option,"=",config.get(section,option)

example.py文件执行结果

CONFIGPARSER模块教程 by 大头爸爸 (366500050@qq.com)
1024
  ['book', 'size', 'other']
book
  title = ConfigParser模块教程
  author = 大头爸爸
  email = 366500050@qq.com
  time = 2012-09-20 22:04:55  size
  size = 1024  other
  blog = csdn.n

写入配置文件

示例

import ConfigParser
import sys
config=ConfigParser.ConfigParser()
config.add_section("book")
config.set("book","title","这是标题")
config.set("book","author","大头爸爸")
config.add_section("size")
config.set("size","size",1024)
config.write(sys.stdout)

执行结果

[book]
title = 这是标题
author = 大头爸爸
[size]
size = 1024

ConfigParser方法

创建ConfigParser实例
1

config=ConfigParser.ConfigParser()
返回配置文件中节序列
1

config.sections()

返回某个项目中的所有键的序列

1
2

config=ConfigParser.ConfigParser()
config.options(section)

返回section节中，option的键值

1
2

config=ConfigParser.ConfigParser()
config.get(section,option)

添加一个配置文件节点(str)

1
2

config=ConfigParser.ConfigParser()
config.add_section(str)

设置section节点中，键名为option的值(val)

1
2

config=ConfigParser.ConfigParser()
config.set(section,option,val)

读取配置文件

1
2

config=ConfigParser.ConfigParser()
config.read(filename)

写入配置文件

1
2

config=ConfigParser.ConfigParser()
config.write(obj_file)

综合实例

##coding=utf-8

import ConfigParser

def writeConfig(filename):
    config = ConfigParser.ConfigParser()
    # set db
    section_name = 'db'
    config.add_section( section_name )
    config.set( section_name, 'dbname', 'MySQL')
    config.set( section_name, 'host', '127.0.0.1')
    config.set( section_name, 'port', '80')
    config.set( section_name, 'password', '123456')
    config.set( section_name, 'databasename', 'test')

    # set app
    section_name = 'app'
    config.add_section( section_name )
    config.set( section_name, 'loggerapp', '192.168.20.2')
    config.set( section_name, 'reportapp', '192.168.20.3')

    # write to file
    config.write( open(filename, 'a') )

def updateConfig(filename, section, **keyv):
    config = ConfigParser.ConfigParser()
    config.read(filename)
    print config.sections()
    for section in config.sections():
        print "[",section,"]"
        items = config.items(section)
        for item in items:
            print "\t",item[0]," = ",item[1]
    print config.has_option("dbname", "MySQL")
    print config.set("db", "dbname", "11")
    print "..............."
    for key in keyv:
        print "\t",key," = ", keyv[key]
    config.write( open(filename, 'r+') )

if __name__ == '__main__':
    file_name = 'test.ini'
    writeConfig(file_name)
    updateConfig(file_name, 'app', reportapp = '192.168.100.100')
    print "end__"

Python 的 logging 模块

Wed, 30 Oct 2019 18:03:55 +0800

单输出日志到屏幕

示例

import logging
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')

输出

1
2
3

WARNING:root:warning message
ERROR:root:error message
CRITICAL:root:critical message

默认情况下python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志。
默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET）。
默认的日志格式为日志级别:Logger名称:用户输出消息。

配置日志

示例

import logging
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                    datefmt='%a, %d %b %Y %H:%M:%S',
                    filename='/tmp/test.log',
                    filemode='w')
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')

输出

cat /tmp/test.log
 Mon, 05 May 2014 16:29:53 test_logging.py[line:9] DEBUG debug message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:10] INFO info message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:11] WARNING warning message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:12] ERROR error message
 Mon, 05 May 2014 16:29:53 test_logging.py[line:13] CRITICAL critical message

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，参数解释：
filename：用指定的文件名创建FiledHandler（后边会具体讲解handler的概念），这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。
format参数中可能用到的格式化串：
- %(name)s Logger的名字
- %(levelno)s 数字形式的日志级别
- %(levelname)s 文本形式的日志级别
- %(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
- %(filename)s 调用日志输出函数的模块的文件名
- %(module)s 调用日志输出函数的模块名
- %(funcName)s 调用日志输出函数的函数名
- %(lineno)d 调用日志输出函数的语句所在的代码行
- %(created)f 当前时间，用UNIX标准的表示时间的浮点数表示
- %(relativeCreated)d 输出日志信息时的，自Logger创建以来的毫秒数
- %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
- %(thread)d 线程ID。可能没有
- %(threadName)s 线程名。可能没有
- %(process)d 进程ID。可能没有
- %(message)s用户输出的消息

Python 的 cx_Oracle 模块

Wed, 30 Oct 2019 17:55:41 +0800

导入 cx_Oracle 模块

`1`	`import cx_Oracle # 导入模块`

连接数据库

1
2
3

db = cx_Oracle.connect('user', 'password', 'host:port/SID') #建立连接,3个参数分开写
print db.version
##输出 10.2.0.1.0 测试成功

自动提交

1
2

db.autocommit=True #开启自动提交
db.autocommit=False #关闭自动提交

建立 cursor 光标

`1`	`cursor = db.cursor() #建立一个cursor`

执行sql

cursor.execute(‘select * from tabs’)    # 执行一条sql
sql = "insert into person(name, age, telephone) values(%s, %s, %s)"
tmp = (('ninini', 89, '888999'), ('koko', 900, '999999'))
conn.executemany(sql, tmp) #执行多条sql

获取执行结果

row=cursor.fetchone() #取一行结果，元组(a,b,c,d)
row=cursor.fetchall() #获取所有结果，列表[(a,b,c,d),(e,f,g,h),...]
for x in row:
    For y in x:
        Print y
print cursor.rowcount() #获取输出记录数量

提交

`1`	`db.commit()`

回滚

`1`	`db.rollback()`

关闭连接

1
2

cursor.close()
db.close()

Python 的 re 模块

Wed, 30 Oct 2019 17:52:21 +0800

match

定义
1

re.match(pattern, string, flags)
尝试从字符串的开始匹配一个模式
第一个参数是正则表达式，如果匹配成功，则返回一个Match，否则返回一个None；
第二个参数表示要匹配的字符串；
第三个参数是标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

search

定义
1

re.search(pattern, string, flags)
在字符串内查找模式匹配,只到找到第一个匹配然后返回，如果字符串没有匹配，则返回None。
每个参数的含意与re.match一样。

sub

定义
1

re.sub(pattern, repl, string, count)
替换字符串中的匹配项
其中第二个函数是替换后的字符串
第四个参数指替换个数。默认为0，表示每个匹配项都替换。 re.sub还允许使用函数对匹配项的替换进行复杂的处理，如：re.sub(r’\s’, lambda m: ‘[’ + m.group(0) + ‘]’, text, 0)；将字符串中的空格’ ‘替换为’[ ]’。

split

定义
1

re.split(pattern, string)
分割字符串

findall

定义
1

re.findall(pattern, text)
获取字符串中所有匹配的字符串

compile

定义
1

re.compile(pattern)
把正则表达式编译成一个正则表达式对象

示例

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
regex = re.compile(r'\w*oo\w*')
print regex.findall(text)  #查找所有包含'oo'的单词
print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来

Python 的 time 模块

Wed, 30 Oct 2019 17:49:27 +0800

时间戳: 相对1970.1.1 00:00:00计算的秒数
struct_time: year(2015) month(1-12) day(1-31) hours(0-23) minutes(0-59) seconds(0-59) weekday(0-6,Monday is 0) julian day(day in the year,1-366) DST flag(-1,0,1)
time.asctime([tuple]) #把struct_time 转成字符串
time.clock() #第一次调用返回程序运行的实际时间，后面调用返回与第一次调用的时间间隔

Python 的 optionparser 模块

Wed, 30 Oct 2019 17:46:52 +0800

生成标准的、符合Unix/Posix 规范的命令行说明

from optparse import OptionParser
parser = OptionParser()
parser.add_option('-p', '--pdbk', action = 'store_true', dest = 'pdcl', default = False,
                help = 'write pdbk data to oracle db')
parser.add_option('-z', '--zdbk', action = 'store_true', dest = 'zdcl', default = False,
                help = 'write zdbk data to oracle db')
(options, args) = parser.parse_args()
if options.pdcl == True:
    print 'pdcl is true.'
if options.zdcl == True:
    print 'zdcl is True.'

简单流程

# 引入OptionParser类，创建OptionParser对象
from optparse import OptionParser
parser = OptionParser()
# 定义命令行参数
parser.add_option(opt_str, ..., attr = value, ...)
# 解析命令行参数
(options, args) = parser.parse_args()

parse_args 和 add_options 函数

parse_args() 接收一个命令行列表，默认使用 sys.argv[:-1]

Python 的 os 和 os.path

Wed, 30 Oct 2019 17:45:33 +0800

os.getcwd() #返回运行脚本的目录
os.listdir() #获取目录中的内容
os.path.basename() #去掉目录路径，返回文件名
os.path.dirname() #去掉文件名，返回目录路径
os.path.join() #组合成合法路径
os.path.split() #返回路径和文件名元组
os.path.splitdrive() #返回驱动器符号和路径元组
os.path.splitext() #返回文件名和扩展名元组
os.path.getatime() #返回文件最近的访问时间戳
os.path.getctime() #返回文件的创建时间戳
os.path.getmtime() #返回文件修改时间
os.path.getsize() #返回文件大小（Bytes）
os.path.exists() #指定目录或文件是否存在
os.path.isabs() #指定路径是否为绝对路径
os.path.isdir() #指定路径是否为目录
os.path.isfile() #指定路径是否为文件
os.path.samefile() #指定路径名是否指向同一个文件

Python 调用 Shell 命令

Wed, 30 Oct 2019 17:44:22 +0800

os

阻塞，返回shell执行参数命令的状态,即成功返回0
1

os.system('cat /proc/cpuinfo')
阻塞，返回file read的对象，对该对象进行 read() 可以获取shell执行参数命令的结果，即标准输出
1

os.popen('cat /proc/cpuinfo')

commands

阻塞，返回参数指定的系统文件的详细属性
1

commands.getstatus('/proc/cputinfo')
阻塞，返回shell执行参数命令的结果
1

commands.getoutput('cat /proc/cpuinfo')
阻塞，返回shell状态和shell输出的元组(status, output)
1

commands.getstatusoutput('cat /proc/cpuinfo')

subprocess

阻塞，返回shell状态，禁用 PIPE 参数

`1`	`subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False)`

阻塞，shell 执行成功返回0, 否则无返回，并抛出包含shell错误状态的 CalledProcessError 异常，禁用PIPE参数
1

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False)
阻塞，shell 执行成功返回shell结果，否则无返回，并抛出包含shell错误状态的 CalledProcessError 异常，禁用PIPE参数
1

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False)

Pope

不阻塞，返回Popen对象

subprocess.Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

subprocess 参数:
- args: 字符串或列表（*nix 下第一项视为命令，后面是命令参数）
- bufsize: 默认 0 不缓冲，1 行缓冲，其他正数表示缓冲大小，负数表示使用系统默认全缓冲
- stdin stdout stderr: subprocess.PIPE 表示管道操作，subprocess.STDOUT 表示输出到标准输出
- preexec_fn: *nix 下子进程被执行前调用
- shell: True 时表示指定命令在shell里解释执行
- subprocess.PIPE: 用于stdin、stdout 和 stderr ，表示创建并写入一个管道
- subprocess.STDOUT: 用于 stderr，表示标准错误重定向到标准输出
Popen 对象属性:
- Popen.poll(): 检查子进程是否结束，0 表示退出
- Popen.wait(): 等待子进程结束，注意子进程是否写管道
- Popen.communicate(input=None): 与子进程交互，字符串数据发送到stdin，并从stdout和stderr读数据，知道EOF，等待子进程结束。注意读写stdin、stdout或stderr时要给定PIPE参数。返回元组(stdoutdata, stderrdata)。
- Popen.send_signal(signal): 给子进程发送信号
- Popen.terminate(): 停止子进程
- Popen.kill(): 杀死子进程
- Popen.stdin Popen.stdout Popen.stderr: PIPE参数时为文件对象，否则None
- Popen.pid: 子进程的进程号
- Popen.returncode None表示子进程没终止，负数-N表示子进程被N号信号终止

python pip

Tue, 29 Oct 2019 21:17:22 +0800

配置 pip 源

创建 $HOME/.pip/pip.conf 文件，内容如下

[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple

[install]
trusted-host=pypi.tuna.tsinghua.edu.cn

[list]
format=columns