您现在的位置是:首页 > 技术教程 正文

Python标准库 subprocess 模块多进程编程详解

admin 阅读: 2024-03-22
后台-插件-广告管理-内容页头部广告(手机)

1. Subprocess模块介绍

1.1 基本功能

  • subprocess 模块,允许生成新的进程执行命令行指令,python程序,以及其它语言编写的应用程序, 如 java, c++,rust 应用等。
  • subprocess可连接多个进程的输入、输出、错误管道,并且获取它们的返回码。
  • asyncio也支持subprocess.

许多知名库都在使用此模块创建进程,以及做为跨语言粘合工具。典型如ansible, celery,selenium 等。

1.2 与multiprocessing主要区别

  • multiprocessing 创建的子进程的代码也需要开发者实现。
  • subprocess创建的子进程主要用于运行已有指令或应用。

根据上述主要区别,不难推断出, subprocess创建子进程的用途,主要用于执行非python的外部程序,如windows/linux 命令,C程序,Java程序等,而且可以实现进程通信,多进程管道,以及异步执行等。

1.3 subprocess 模块主要掌握知识点

(1)run()方法创建子进程
(2)stdin, stdout,stderr 的配置,以及管道使用
(3)Popen API使用。
(4)进程之间通信

2 使用run() 方法创建子进程

2.1 run() 语法

subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, text=None, env=None)
  • 1

返回值类型
subprocess.CompletedProcess
主要参数

  • args:表示要执行的命令。必须是以字符串为元素的 list or tuple 。
  • stdin、stdout 和 stderr:子进程的标准输入、输出和错误。其值可以是 subprocess.PIPE、subprocess.DEVNULL、一个已经存在的文件描述符、已经打开的文件对象或者 None。subprocess.PIPE 表示为子进程创建新的管道。subprocess.DEVNULL 表示使用 os.devnull。默认使用的是 None,表示什么都不做。
  • encoding: 如果指定了该参数,则 stdin、stdout 和 stderr 可以接收字符串数据,并以该编码方式编码。否则只接收 bytes 类型的数据。
  • shell:如果该参数为 True,将通过操作系统的 shell 执行指定的命令。
  • check: 如check=true, 当进程退出码为非0时,将生成 CalledProcessError 异常

2.2 返回对象CompletedProcess的主要属性与方法:

主要属性

  • args 执行指令list or tuple
  • returncode 执行完子进程状态码,为0则表明它已经运行完毕,若值为负值 ,表明子进程被终。 为None表示未执行完成。
  • stdout 输出内容,
  • stderr error输出内容
    方法
  • check_returncode() 如果 returncode 是非零值, 将生成异常 CalledProcessError.

示例

>>> subprocess.run(["ls", "-l"]) # doesn't capture output CompletedProcess(args=['ls', '-l'], returncode=0) >>> subprocess.run("exit 1", shell=True, check=True) Traceback (most recent call last): ... subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

2.3 什么是 stdin, stdout, stderr?

OS 执行一个shell命令,会自动打开三个标准文件

  • 标准输入文件(stdin),通常对应终端的键盘;
  • 标准输出文件(stdout), 标准错误输出文件(stderr),这两个文件都对应终端的屏幕。

进程的I/O操作

  • 进程将从标准输入文件中得到输入数据
  • 将正常输出数据输出到标准输出文件,
  • 将错误信息送到标准错误文件中。

标准输入、输出可以重定向, 从ubuntu linux为例

  • 输入重定向: wc < abc.txt, 输入重定向为由文件读入。
  • 输出重定向: tail a.log > abc.txt , 输出重定向到abc.txt , >> 为追加模式
  • 错误输出重定向: 用 2> 文件名 表示 ,
    如 python demo.py 2>&1, 将把标准错误输出重定向到输出stdout
    使用“ >/dev/null ”符号,将命令执行结果重定向到空设备中,也就是不显示任何信息。

有时host进程可能修改了输入/输出设备,subprocess将继承,可以手工指定I/O设备
在这里插入图片描述

windows用run()时,args指令中前面要加cmd.exe做为执行器
cmdTuple =(“cmd.exe”, “/C”, r"del d:\output*.png")
subprocess.run(cmdTuple)

如果运行dos命令,前两个参数为 “cmd.exe”, “/C”, 否则报错。
subprocess.run([‘cmd’, ‘/C’, ‘dir D:\app’])

也可使用powshell 做执行器, 其格式如下:
subprocess.run([“powershell”, “-Command”, “dir D:\app”])

运行 .py文件,无须加 cmd.exe
subprocess.run([‘python’, ‘demo.py’, ‘5’]) 其中5为参数

指令也可以用字符串的形式,用shlex来解析为list
import shlex
print( shlex.split(“python subp_timer.py 5”))
subprocess.run(shlex.split(“python subp_timer.py 5”))
output:
[‘python’, ‘subp_timer.py’, ‘5’]
Starting timer of 5 seconds
…Done!

linux 使用默认shell做为执行器,也可以指定如用 ‘bash’
subprocess.run([“bash”, “-c”, “ls /usr/bin | grep pycode”])

3.Pipe 使用

Pipe 即管道,可以将两个进程连接起来:上1个进程的stdout 可以做为下1个进程的输入

cp1 = subprocess.run( ['cmd.exe','/C','dir /A:D /B','D:\workplace'], stdout=subprocess.PIPE ) print(cp1.stdout.decode('utf-8')) cp2 = subprocess.run( ['cmd.exe','/C','find','/I','\"python\"'], input=cp1.stdout, stdout=subprocess.PIPE ) print(cp2)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

4.Popen API 使用

Popen 是 subprocess的核心,底层的子进程的创建和管理都靠它处理,它支持主程序与子进程之间通信。 run()方法只能用于一些简单场合,Popen()更加方便。

4.1 Popen对象的构造函数:

class subprocess.Popen(args, bufsize=-1, stdin=None, stdout=None, stderr=None, shell=False, cwd=None, env=None, *, encoding=None)
  • 1
  • 2

常用参数:

  • args:shell命令,可以是字符串或者序列类型(如:list,元组)
  • bufsize:缓冲区大小。当创建标准流的管道对象时使用,默认-1。 0:不使用缓冲区 1:表示行缓冲,仅当universal_newlines=True时可用,也就是文本模式 正数:表示缓冲区大小 负数:表示使用系统默认的缓冲区大小。
  • stdin, stdout, stderr:分别表示程序的标准输入、输出、错误句柄
  • shell:如果该参数为 True,将通过操作系统的 shell 执行指定的命令。通常使用False
  • cwd:用于设置子进程的当前目录。
  • env:用于指定子进程的环境变量。如果 env = None,子进程的环境变量将从父进程中继承。
  • encoding 为stdout的编码,指定后,可自动将bytes内容转为字符串

创建一个子进程,然后执行一个简单的命令:
实例

>>> import subprocess >>> p = subprocess.Popen('ls -l', shell=True) >>> total 164 -rw-r--r-- 1 root root 133 Jul 4 16:25 admin-openrc.sh -rw-r--r-- 1 root root 268 Jul 10 15:55 admin-openrc-v3.sh ... >>> p.returncode >>> p.wait() 0 >>> p.returncode
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
Popen(["/usr/bin/git", "commit", "-m", "Fixes a bug."])
  • 1

4.2 Popen 对象支持context

with Popen(["ifconfig"], stdout=PIPE) as proc: log.write(proc.stdout.read())
  • 1
  • 2

4.3 Popen对象的方法与属性

  • Popen.poll()
    检查子进程是否已被终止。设置并返回returncode 属性。否则返回 None。
  • Popen.wait(timeout=None)
    等待子进程被终止。设置并返回returncode 属性。
    如果进程在 timeout 秒后未中断,抛出一个TimeoutExpired 异常,可以安全地捕获此异常并重新等待。
  • Popen.communicate(input=None, timeout=None) 与进程交互:将数据发送到 stdin。从 stdout 和 stderr 读取数据,
    communicate() 返回一个 (stdout_data, stderr_data) 元组。如果文件以文本模式打开则为字符串;否则为字节串。
proc = subprocess.Popen(...) try: outs, errs = proc.communicate(timeout=15) except TimeoutExpired: proc.kill() outs, errs = proc.communicate()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • Popen.send_signal(signal) 发送OS信号
  • Popen.terminate(), Popen.kill() 终止、杀死进程

属性
args, stdin, stdout, stderr, pid, returncode

4.5 Popen.stdout的编码问题

stdout值为bytes 类型,查看时通常需要转为str, 但windows 命令返回的stdout编码类型可能不是utf-8. 需要使用chardet.detect( bytes_obj) 来检测

import chardet import subprocess cmd = ['cmd.exe','/C', 'ipconfig'] pp = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE) out: bytes = pp.stdout.read() encode = chardet.detect(out)['encoding'] print(encode) print(out.decode(encode))
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

output:

PS D:\workplace\python\test1\multi_thread> py subp_2.py GB2312 Windows IP 配置 ...
  • 1
  • 2
  • 3
  • 4
  • 5

5. 与子进程的通信

5.1 向子进程输入数据

方式1: 通过communicate(input=bytes_obj) 输入参数

process = subprocess.Popen(['cmd', '/C', 'findstr','example'], stdin=subprocess.PIPE,stdout=subprocess.PIPE,stderr=subprocess.PIPE) # 使用input参数传递输入 input_data = b"Some input\n subprocess \n example line" out, err = process.communicate(input=input_data) print(out)
  • 1
  • 2
  • 3
  • 4
  • 5

方式2: 通过Pipe向子进程输入数据: process.stdin.write()

process = subprocess.Popen(['cmd', '/C', 'findstr','example'], stdin=subprocess.PIPE,stdout=subprocess.PIPE,stderr=subprocess.PIPE) # Write to the subprocess's standard input process.stdin.write(b'first line \n 2:some example input\n third line\n') # Close the input stream process.stdin.close() out, err = process.communicate() print(out, err)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

3)获取子进程的输出内容
方式1: 使用 process.communicate() 方法获取 output 与 error
out, err = process.communicate(), out, err 均为bytes 类型
方式2: 直接读 process.stdout 属性, 方式与读文件相同,

line = process.stdout.readline() content = process.stdout.read()
  • 1
  • 2

示例

# 读取子进程的输出 cmd = ["ping", "baidu.com"] process = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True) counter = 0 while True: # Read a line from the subprocess's stdout line = process.stdout.readline() # Check if the line is empty, indicating that the subprocess has finished if not line : break if counter > 3: print(f"terminate process {process.pid}") process.terminate() # 强行终止进程 break counter += 1 print(process.poll()) # 检查进程是否结束 # Process and print the line print(line, end='') # Wait for the subprocess to finish and get its return code return_code = process.wait(2) print(f"Subprocess returned with exit code: {return_code}") print(process.poll())
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

6. 子进程的异步执行

asyncio异步模块也提供了 subprocess 类, 好处是避开了GIL锁的限制, 运行速度显著提高

import asyncio async def run(cmd): proc = await asyncio.create_subprocess_shell( cmd, stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.PIPE) stdout, stderr = await proc.communicate() print(f'[{cmd!r} exited with {proc.returncode}]') if stdout: print(f'[stdout]\n{stdout.decode()}') if stderr: print(f'[stderr]\n{stderr.decode()}') async def main(): await asyncio.gather( run('python subp_timer.py 2'), ) asyncio.run(main())
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

7. 其它功能

7.1 异常处理

子进程可能会遇到各种问题,建议使用如下处理异常的代码结构:

import subprocess try: cmd = ["your_command_here"] process = subprocess.Popen( cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True) stdout, stderr = process.communicate() print(stdout,stderr) except subprocess.CalledProcessError as e: print(f'Subprocess failed with return code {e.returncode}') except FileNotFoundError: print('Command not found')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

7.2 常见问题排查

(1)命令不能运行,通常是args 列表有问题。 可先在terminal 测试
(2)命令行处理的文件与当前目录不同,
(3)进程block问题

  • communicate()方法是block方法,如果子进程未结束,运行communicate()会造成进程block, 应该使用stdout.read()来读取中间内容。
  • 如果进程有输入,需要注意提供输入stdin.write()
标签:
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

在线投稿:投稿 站长QQ:1888636

后台-插件-广告管理-内容页尾部广告(手机)
关注我们

扫一扫关注我们,了解最新精彩内容

搜索
排行榜