最近写了一个爬虫,用的request,纯属自娱自乐,但是写的满头的包,不知道如何处理,希望各位前辈们能指点下晚辈,给晚辈提供些思路。
目前是遇到了两种奇怪的情况:
1.完全相同的代码,换了一个账号就能正常获取到cookie,原来的账号就死活不能,这可能是什么原因?我尝试了在浏览器上手动登录,发现是可以正常登录的,我觉得可能是IP的问题,但是距离上次我拿这个账号测试已经过去将近半个月的时间了,时间间隔这么久,而且其他的账号就能获取cookie,感觉又不大可能是IP的问题
2.哪怕是这个正常登录的账号,在尝试请求数据的时候,同样会返回未登录,但是我看session里面确实有了对应的cookie,而且cookie也是完整的,不过我发现浏览器每次请求时,服务器都会返回新的cookie,
对比了下,发现有两个cookie是变化的,解析出来是时间戳,是因为这个原因所以返回的未登录吗?可是我用的session,不是应该会自动管理cookie吗,而且我看浏览器请求携带的cookie也确实是上次请求浏览器返回的啊,搞不明白
另,如果想学习爬虫的话,有哪些书籍或者网站推荐吗?目前在看那个封面是穿山甲的Python网络爬虫权威指南以及看B站上的相关视频,但是感觉书上说的、视频讲的和写代码时遇到的完全不是一种情况