scrapy如何同时获取简历列表和简历详情

要爬取网站:https://hr.tencent.com/positi...

clipboard.png

简历列表数据能获取,但是如何获取简历详情的内容,然后跟简历列表的数据一起存储

我的代码:

clipboard.png

中间这块代码应该怎么写,没思路,求解

回复
阅读 3.3k
1 个回答

parse是用来解析列表页的.
在parse方法中,使用yield scrapy.Request(url,callback=self.parse)将新一页的URL加入了队列.

现在你需要解析详情页面,详情页面和列表页是不同的,所以你需要定义第二个解析函数,来解析详情页.

def parse_detail(self,response):
    pass
    # parse
    # yield item

在列表中获取每一个职位的链接,然后使用这个回调函数进行解析.
所有数据都在这个方法中获取就好了,详情页的信息必然是比列表中丰富的.

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏