scrapy 运行单个spider的时候,是不是只能利用单核资源?
如何能使其充分利用多核资源?
由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。
可以考虑gevent ,针对爬虫这种网络IO密集型的。效率会很高
2 回答4.2k 阅读✓ 已解决
2 回答812 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
2 回答2.1k 阅读✓ 已解决
3 回答800 阅读✓ 已解决
4 回答2.5k 阅读
3 回答829 阅读✓ 已解决
2 回答5.7k 阅读✓ 已解决
2 回答5.9k 阅读✓ 已解决
2k 阅读
2 回答6.4k 阅读
1 回答5.6k 阅读
由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。