爬虫遇到网关登录确认怎么办？

Question

这个“网关”（不太清楚是不是这么叫的）是公司提供的wifi网络，需要输入账号密码登录。过一段时间就会跳出提醒，只要点击登录按钮就可以了。
爬虫上网的时候，会时常跳出一个登录确认界面。有可以用的账号，请教如何使用Python通过这一环节？
http://js.iwififree.com/

Answer 1

同楼上，可以用Chrome开发者工具或者Burpsuite这样的工具抓取登录成功的一个数据包，然后在每次发起请求的时候携带一个cookie参数，将登录状态的cookie一起提交上去
比如可以放到header中

 headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36',
        'Cookie':'替换cookie'
    }

这样服务器就会判断你已经登录成功了

Answer 2

这种一般见于使用wifi的环境，有些有要求验证用户身份，如果你采用有线网络使用，应该不会出现这样的问题。

而且常见应该是一次登录后就不再登录啊，因为身份已经验证过？！

验证方法一般可以获取到本地存储的认证信息，在请求中带上即可。

已参与了 SegmentFault 思否社区 10 周年「问答」打卡 ，欢迎正在阅读的你也加入。