scrapy 运行单个spider的时候,是不是只能利用单核资源?

新手上路,请多包涵

scrapy 运行单个spider的时候,是不是只能利用单核资源?

如何能使其充分利用多核资源?

阅读 2.7k
2 个回答

由于主流Python实现CPython的GIL,导致Python多线程效率问题,如果要充分利用多核资源,还是建议使用多进程来协同工作。

可以考虑gevent ,针对爬虫这种网络IO密集型的。效率会很高

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题