pyspider的抓取部分能某个Project单独重写么?

我现在有个别 Project 需要在抓取时再指定 Cookie 或代理,所以我想修改抓取的部分,但是我不太清楚能不能只是单独重写某些 Project 的抓取部分呢?

阅读 1.9k
1 个回答

self.crawl()里面可以定义代理或者cookie,优先级大于全局设置

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进