1

请求方式:POST
背景:爬虫需要根据仅根据url来识别不同的榜单走不同的策略(body参数不一样),由于这几个榜单的请求url都是一样的

url都是 https://read.douban.com/j/kind/ 但是body不同
实现思路:要在kind后面添加自定义后缀,而不影响正常的请求,可以通过在URL中添加查询参数的方式实现。具体来说,可以在kind后面添加?custom_suffix=your_custom_suffix,其中your_custom_suffix是想要添加的自定义后缀。
因此,可以将URL修改为https://read.douban.com/j/kind/?custom_suffix=your_custom_suffix,这样就可以在kind后面添加自定义后缀,同时不影响正常的请求。
最终具体做法:
https://read.douban.com/j/kind/?t=new
https://read.douban.com/j/kind/?t=hot
https://read.douban.com/j/kind/?t=sales


瑞0908
321 声望77 粉丝

一个一个解决