multiprocessing.Process.terminate()结束子进程将导致子进程无法执行finally块,如何解决?

我在使用multiprocessing库创建进程的时候,发现了这么一个问题:

https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.Process中对于terminate函数的文档中说:

Note that exit handlers and finally clauses, etc., will not be executed.

exit handlers我姑且理解为上下文管理器的__exit__函数(不知道对不对)。

当我在主进程中调用terminate()结束子进程,会导致子进程的资源无法释放掉。

我想知道,如何在主进程里优雅的结束子进程?

阅读 20.6k
2 个回答

在主进程里直接terminate子线程,是不推荐的做法,因为结束的时候不清楚子线程的运行状况,有很大可能性导致子线程在不恰当的时刻被结束。
在主进程里优雅的结束子进程,推荐的方法是,通过全局变量、互斥锁或信号量等进程间通信手段来达到。
例如,使用multiprocessing.Value对象,来传递信息。通知子线程:“辛苦了,你可以休息了”,然后让子线程自身决定退出的时刻,可以选择一个适当的时刻来结束任务。
下面的代码,在外部修改alive.value的值,子进程得知后,选择在没有sleep的时候退出。

from multiprocessing import Process, Value
import time

alive = Value('b', False)

def worker(alive):
  while alive.value:
    time.sleep(0.1)
    print("running")

if __name__ == '__main__':
  p = Process(target=worker, args=(alive,))
  alive.value = True
  p.start()
  time.sleep(1)
  alive.value = False

我提这个问题当时的需求是使用python调用外部的第三方程序,类似shell脚本一样。
如果是正常的多进程编程协作完成一个任务,那么上面答主提到的方式则是最佳方法,即使用IPC的方式使父进程传递给子进程结束的信息,然后子进程自己优雅的退出。

而如果使用python调用外部的第三方命令,将其作为类似shell脚本的方式使用,由于无法修改外部程序的代码,因此IPC的手段非常有限,仅仅限于向子进程发送信号。

那么该问题的思路就很清晰了,之前的问题是使用terminate()函数结束子进程导致了子进程无法正常释放资源(linux系统)。通过查询文档可知terminate()函数在linux系统下的行为是向进程发送SIGTERM。那么,问题的原因则是该第三方程序接收到SIGTERM信号后的处理逻辑有问题。

一般来说,命令行程序对SIGINT信号的考虑更完善,因为在终端使用时按Ctrl-C发送的就是SIGINT信号。因此,该问题后来的解决方案是:

p.process.signal(signal.SIGINT)    
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏