在编写scrapy爬虫的时候rules中allow的书写问题

在编写爬取58同城二手手机出售的信息的时候,rules里的allow应该怎么写?
它里面给出的下一页或者第二页第三页等等的链接给出的都是缩减的链接,那么rules里的allow应该要怎么写呢?有哪位高手可以指点一二嘛?谢谢~

阅读 2.3k
1 个回答

缩减的链接可以用urljoin()组合啊

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题