scrapy 部署之后是怎么和后台管理传递信息的？

Question

（多个） scrapy 的脚本通过 scrapyd 部署之后，如果也使用了后台管理如 scrapydweb ，

那具体的 scrapy 和 scrapydweb 是怎么传递信息的？

比如传递 scrapy 抓取了 N 个 items ，parse 了 M 个 pages

scrapy 向 scrapydweb 发送消息？还是 scrapydweb 向发送 scrapy 请求？

这样的传递消息是怎么实现的？

Answer 1

1、scrapyd通过子进程的方式去执行scrapy脚本。

2、scrapydweb通过scrapyd提供的API接口来管理scrapy。

---

已参与了 SegmentFault 思否社区 10 周年「问答」打卡 ，欢迎正在阅读的你也加入。