multiprocessing.Process.terminate()结束子进程将导致子进程无法执行finally块,如何解决?

我在使用multiprocessing库创建进程的时候,发现了这么一个问题:

https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.Process中对于terminate函数的文档中说:

Note that exit handlers and finally clauses, etc., will not be executed.

exit handlers我姑且理解为上下文管理器的__exit__函数(不知道对不对)。

当我在主进程中调用terminate()结束子进程,会导致子进程的资源无法释放掉。

我想知道,如何在主进程里优雅的结束子进程?

阅读 9.6k
评论 2016-05-07 提问
    2 个回答

    在主进程里直接terminate子线程,是不推荐的做法,因为结束的时候不清楚子线程的运行状况,有很大可能性导致子线程在不恰当的时刻被结束。
    在主进程里优雅的结束子进程,推荐的方法是,通过全局变量、互斥锁或信号量等进程间通信手段来达到。
    例如,使用multiprocessing.Value对象,来传递信息。通知子线程:“辛苦了,你可以休息了”,然后让子线程自身决定退出的时刻,可以选择一个适当的时刻来结束任务。
    下面的代码,在外部修改alive.value的值,子进程得知后,选择在没有sleep的时候退出。

    from multiprocessing import Process, Value
    import time
    
    alive = Value('b', False)
    
    def worker(alive):
      while alive.value:
        time.sleep(0.1)
        print("running")
    
    if __name__ == '__main__':
      p = Process(target=worker, args=(alive,))
      alive.value = True
      p.start()
      time.sleep(1)
      alive.value = False
    评论 赞赏 2017-06-13

      我提这个问题当时的需求是使用python调用外部的第三方程序,类似shell脚本一样。
      如果是正常的多进程编程协作完成一个任务,那么上面答主提到的方式则是最佳方法,即使用IPC的方式使父进程传递给子进程结束的信息,然后子进程自己优雅的退出。

      而如果使用python调用外部的第三方命令,将其作为类似shell脚本的方式使用,由于无法修改外部程序的代码,因此IPC的手段非常有限,仅仅限于向子进程发送信号。

      那么该问题的思路就很清晰了,之前的问题是使用terminate()函数结束子进程导致了子进程无法正常释放资源(linux系统)。通过查询文档可知terminate()函数在linux系统下的行为是向进程发送SIGTERM。那么,问题的原因则是该第三方程序接收到SIGTERM信号后的处理逻辑有问题。

      一般来说,命令行程序对SIGINT信号的考虑更完善,因为在终端使用时按Ctrl-C发送的就是SIGINT信号。因此,该问题后来的解决方案是:

      p.process.signal(signal.SIGINT)    
      
      评论 赞赏 2018-07-02
        撰写回答

        登录后参与交流、获取后续更新提醒