网站爬虫过期问题

Question

最近在看一个旅游网站，但是这个网站页面一会就失效，请教如何解决？

这是网址：https://www.jetstar.com/sg/zh...
抓取这个网站的航班信息

开始以为是cookie 的问题，但是通过session 请求，发现不对，

求人指教，谢谢

import requests
session=requests.session()
session.headers['User-Agent'] ='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
session.get('https://www.jetstar.com/sg/zh/home')
headers={"referer": "https://www.jetstar.com/sg/zh/home?origin=SIN&destination=KIX&flight-type=2&selected-departure-date=19-07-2019&selected-return-date=05-09-2019&adult=1&flexible=1&currency=SGD"}
end_response=session.get('https://booking.jetstar.com/sg/zh/booking/select-flights',headers=headers)
print(end_response)

Answer 1

用selenium来爬吧，requests涉及的session请求太多了