极客观点
项目管理
HarmonyOS
目前在单核cpu下测试，想多爬取一些网站，但是scrapy是基于twisted的single-threading。
能否使用多线程？
我的思路：
给每个spider开辟一个thread，在这个线程里完成请求(start_requests)、解析(parse)、入库(pipelines)等动作。
可行否？
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
目前在单核cpu下测试，想多爬取一些网站，但是scrapy是基于twisted的single-threading。
能否使用多线程？
我的思路：
给每个spider开辟一个thread，在这个线程里完成请求(start_requests)、解析(parse)、入库(pipelines)等动作。
可行否？
scrapy是 single-thread 不过应该可以设定同时跑几只 spider
http://doc.scrapy.org/en/late...