使用cookie模拟登录微博后想抓取多页微博内容,只是抓取到第二页就出现错误,以前都没出现过,使用的是Request库来模拟登录和获取内容。
代码如下:
循环抓取在这里:
出现错误的代码如下:
我google过,有人说是因为requests发送http request占用太多connection资源,具体说明在
Python使用requests時遇到Failed to establish a new connection
使用cookie模拟登录微博后想抓取多页微博内容,只是抓取到第二页就出现错误,以前都没出现过,使用的是Request库来模拟登录和获取内容。
代码如下:
循环抓取在这里:
出现错误的代码如下:
我google过,有人说是因为requests发送http request占用太多connection资源,具体说明在
Python使用requests時遇到Failed to establish a new connection
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
代码拿去,这里只抓10页, cookie自己补充进去