scrapy 运行单个spider的时候,是不是只能利用单核资源?
如何能使其充分利用多核资源?
由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。
可以考虑gevent ,针对爬虫这种网络IO密集型的。效率会很高
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.4k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
2 回答2k 阅读✓ 已解决
2 回答5.6k 阅读✓ 已解决
2 回答5.8k 阅读✓ 已解决
2k 阅读
2 回答6.3k 阅读
1 回答5.6k 阅读
由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。