爬虫模拟登陆网站的次数多了，一阵子变得访问不了

Question

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西，所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息，就只带了要POST的数据。

这是不是网站的一种反爬虫机制？为什么浏览器多次访问就可以？要不要带上头部？

Answer 1

保存cookie不就行了

Answer 2

可以在请求里加上User Agent，模拟浏览器访问。

Answer 3

推荐使用神箭手云爬虫平台开发爬虫，支持云端自动采集。
简单几行 javascript 就可以实现复杂的爬虫，同时提供很多功能函数：反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等，这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。