python爬虫多线程和多进程

Question

python爬虫多进程比多线程快吗？
这两个能比吗？

Answer 1

爬虫是IO密集型，用多线程比较好。
多进程是计算密集型。

Answer 2

对于PYTHON来说，进程与线程是明显不同的，因为PYTHON本身由于GIL的关系，也就是它本质一个PYTHON进程只可能有一个线程，不管说的是多少线程都是模拟出来的多线程，所以，你真要快速，这个要用多进程来处理，或者你用PYTHON的代码库GEVENT来做，它会在数据等待的时候进行切换，但我推荐还是基于nodejs来进行开发爬虫程序，因为这个语言，还是从效率来讲是最合适的语言，它是事件驱动，对IO驱动的情景特别合适。