2亿++的网址,怎样快速确认网页状态码?

moon3
  • 43

用requests写了个多线程,感觉有点慢,还有其他方法么?

回复
阅读 2.3k
5 个回答
✓ 已被采纳

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

Head请求能快一点吧?

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏