网站爬虫过期问题

最近在看一个旅游网站,但是这个网站页面一会就失效,请教如何解决?

这是网址:https://www.jetstar.com/sg/zh...
抓取这个网站的航班信息

开始以为是cookie 的问题,但是通过session 请求,发现不对,

求人指教,谢谢

import requests
session=requests.session()
session.headers['User-Agent'] ='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
session.get('https://www.jetstar.com/sg/zh/home')
headers={"referer": "https://www.jetstar.com/sg/zh/home?origin=SIN&destination=KIX&flight-type=2&selected-departure-date=19-07-2019&selected-return-date=05-09-2019&adult=1&flexible=1&currency=SGD"}
end_response=session.get('https://booking.jetstar.com/sg/zh/booking/select-flights',headers=headers)
print(end_response)


阅读 2.6k
1 个回答

用selenium来爬吧,requests涉及的session请求太多了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题