使用scrapy的时候,使用casperjs模拟登陆,怎么获得cookie?

使用scrapy的时候,有些局部内容是需要登陆才能显示的,这个局部内容是一个单独的ajax请求,可以按浏览器F12调式工具找到具体的ajax请求地址,打开就能看到html内容。

上面是手工登录查看,问题是当使用scrapy的时候,要请求这个ajax地址,怎么做呢?

我有以下思路和问题:
1、手动登陆网站,把cookie拷贝出来,放到爬虫中。试验好像不行,请求不了那个ajax的地址。
2、用casperjs模拟登陆。可是模拟登陆之后怎么做呢?

阅读 2.4k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进