爬虫库 Python Requests 如何模拟用户登录？

Question

比如要模拟登录 SegmentFault，该用哪个方法呢？

import requests

url = 'http://segmentfault.com/user/login'

Answer 1

使用requests.Session()。
示例如下：

pythons = requests.Session()  # 可以在多次访问中保留cookie
s.post(login_url, {'username':username, 'password': password,}, headers=headers)  # POST帐号和密码，设置headers
r = s.get(url)  # 已经是登录状态了

另外，很多网站会设置csrf或其他token保证安全或防抓取，建议从源代码，或chrome的开发者工具中观察一下。

关于requests.Session()可以参考官方文档：http://docs.python-requests.org/en/latest/user/advanced/#session-objects

关于登录例子，可以参考这篇文章，有很详细的requests登录网站的说明。

Answer 2

如果你想学习怎么爬一个网页，去学学怎么写网页。
你连 GET/POST/HTTP/cookie 都不知道是什么的话。。
可以看 http://blog.binux.me/2013/09/howto-crawl-web/

登录一般的过程是：
1、POST 帐号密码
2、服务器给你写 cookie （至于为什么要写 cookie，学一学怎么写网页）

requests 是一个 HTTP 请求库，你只要模拟出 POST 请求就 ok 了。
而请求可以通过 chrome > network 工具查看。

Answer 3

在官方documation搜索simulate user login。

或者google Python scrapy simulate user login

其实，我觉得模拟用户登陆的难点在于验证码，到现在还没解决。http://segmentfault.com/q/1010000002421571

Answer 4

可以参考我的一篇文章 一步步爬取Coursera课程资源。

Answer 5

有pytesser库可以用来处理简单的验证码

Answer 6

登陆主要是cookie的管理。
requests.session附带完整的管理功能。
使用方法和直接使用requests一致。在登陆页面post帐号 密码后，访问你需要的页面就行