scrapy如何同时获取简历列表和简历详情

Question

要爬取网站：https://hr.tencent.com/positi...

简历列表数据能获取，但是如何获取简历详情的内容，然后跟简历列表的数据一起存储

我的代码：

中间这块代码应该怎么写，没思路，求解

Answer 1

parse是用来解析列表页的.
在parse方法中,使用yield scrapy.Request(url,callback=self.parse)将新一页的URL加入了队列.

现在你需要解析详情页面,详情页面和列表页是不同的,所以你需要定义第二个解析函数,来解析详情页.

def parse_detail(self,response):
    pass
    # parse
    # yield item

在列表中获取每一个职位的链接,然后使用这个回调函数进行解析.
所有数据都在这个方法中获取就好了,详情页的信息必然是比列表中丰富的.