抓取网页防止被屏蔽，除了找代理，最简单的办法应该就是发送请求的时候随机更改user-agent的信息
下面这个地址是一个大全的user-agent地址
http://techpatterns.com/downloads/firefox/useragentswitcher.xml
可以获取此文件分析结果缓存到本地，发送请求时从中随机取user-agent.
抓取网页防止被屏蔽，除了找代理，最简单的办法应该就是发送请求的时候随机更改user-agent的信息
下面这个地址是一个大全的user-agent地址
http://techpatterns.com/downloads/firefox/useragentswitcher.xml
可以获取此文件分析结果缓存到本地，发送请求时从中随机取user-agent.
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。