python爬虫——requests模拟登入,模拟登入豆瓣

叫我瞄大人

1.下载抓包神器fiddler

fiddler官网:fiddler下载,通常情况下下载fiddler2版本,一直Next就可以下载成功了。

2.登入你想爬取的界面(用ie浏览器)

如用ie登入进豆瓣:http://www.douban.com/"
这时打开你的fiddler
1.图片描述
2.图片描述
3.图片描述

找到cookie后代码模拟登入

#-*_coding:utf-8-*-
import requests
reload(__import__('sys')).setdefaultencoding('utf-8')#打印为中文
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}#构造头部
cook={"Cookie":'ll="118205"; _ga=GA1.2.740277333.1448884744; _gat=1; bid="iu5QJoQtotc"; ps=y; '}#cookie有改动,大家用自己的cookie就好
url="http://www.douban.com/"
html=requests.get(url,cookies=cook,headers=headers).content#get中提交url,COOKIE,headers
print html

拿到网页源代码后就是用正则,用xpath,用美味汤抓数据了。模拟登入还是很简单的吧

爬淘宝数据cookie

有兴趣的话可以参考下爬取天猫cookie,感谢社区中的大神回答。

小結:

总的来说,用cookie实现模拟登入就是慢,而且页面爬多了还容易被封ip。总之,假如想爬取海量资源,还需进阶,什么分布式,多线程慢慢学吧。

阅读 10.4k

个人编程学习
python,matlab,VB

喜欢追星的非科班的编程爱好者

464 声望
76 粉丝
0 条评论

喜欢追星的非科班的编程爱好者

464 声望
76 粉丝
文章目录
宣传栏