在用CrawlSpider进行爬取网页新闻的时候我定义的rules是这样的
现在遇到的问题是在这些网页中有的有‘下一页’按钮,而按钮的跳转链接是相对的,比如是page2.html这类的,这样的链接不符合我定义的正则提取规则,导致第二页的页面抓取不下来,请问可以怎么修改呢?拜托拜托大家了
在用CrawlSpider进行爬取网页新闻的时候我定义的rules是这样的
现在遇到的问题是在这些网页中有的有‘下一页’按钮,而按钮的跳转链接是相对的,比如是page2.html这类的,这样的链接不符合我定义的正则提取规则,导致第二页的页面抓取不下来,请问可以怎么修改呢?拜托拜托大家了
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
rules是Rule的列表,所以你可以放多个规则不同的Rule