pyspider 分布式部署下,fetcher 得到的数据是否优先给同节点运行的 processer 处理?

根据文档里的 data flow,fetcher 生产的 response 发给(feeds to) processor,那么在分布式部署下,response 数据是否要整个传回 scheduler 由它分发?是否优先发给同节点的 processor 处理以节省带宽?

pyspider-arch.png

阅读 2.7k
1 个回答

不会,内网带宽不要钱

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进