用Crawlspider爬取带分页的网页(相对路径报错,大家能帮我看看哪里错了吗)

clipboard.png
主要需求是:根据网址中的日期来过滤,但是有些网页中的“下一页”是相对地址,对于这些地址我组装后在进行爬取,但是去没有成功,有大神能帮我看看哪里不对吗?用的是Crawlspider,多谢了~

阅读 2.1k
1 个回答

先检查拼接后的新网址有没有问题?手动在浏览器中能不能打开。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题