python 抓取拉钩网职位的详细内容发生的问题

在使用python requests库,抓取拉钩网职位的详细内容的时候,比如 https://www.lagou.com/jobs/30... 这样的链接的时候,
一开始访问时这样,这个时候可以可以获取到详细内容,
图片描述

但是抓取到5次的时候,就会出现这样的页面
图片描述

一开始想的是应该是通过限制ip来进行反爬虫的,但是我通过切换不同的ip的时候,还是一样限制抓取5条,也一样会出现不能访问的页面,下面这张图是通过切换不同ip后在抓取,第五条还是后出现的是不能访问的页面,所以显示list index out if range,拉勾网怎么限制的呢?本人小白一个,希望各位大神能指教一下,谢谢大家了

图片描述

阅读 1.6k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进