我自己开发的框架里面 如何多个爬虫并行？

Question

比如我自己写的有A B C 三个爬虫 如何三个爬虫并行？是一个函数里面三个爬虫执行吗？通过多线程调用这个函数？

Answer 1

使用多线程方式调用你的爬虫启动函数， 不过首先你要保证你的爬虫是线程安全的。
最简单的基本写法如下：

import thread

# 你的爬虫函数
def crawler(param1, param2, param3):
    pass

# 启动两个线程调用爬虫函数并传参
try:
    thread.start_new_thread(crawler, (arg1, arg2, arg3))
    thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))
except:
    print("something wrong")