python 爬虫速度比打开网页慢？

Question

url="https://www.zhihu.com/api/v4/members/"+userid+"?include=locations,business,voteup_count,thanked_count,follower_count,favorited_count"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36',
    'Accept-Encoding':'gzip'      }     
r=requests.get(url,headers=headers)

用网页打开这个url只需要100-600ms，而在spyder里执行要4-6秒，为什么时间差距这么大呢？

Answer 1

你应该先清空浏览器的所有缓存，然后再打开看最长花费时间
不应该拿网站原来访问过重复访问，很多东西被缓存了当然快

Answer 2

不出意料你用的是selenium， 如果你做个性能分析就知道了 这个对webdrive的初始化就得好几秒 然后打开网页很快 但是你是看不到初始化过程的 你会觉得很慢

Answer 3

我目前使用 chrome 的 headless 模式编写爬虫。他也可以和 PhantomJS 一样执行JS（喂，人家就是浏览器啊）。
requests访问，只能获取静态页面。但是使用 webdriver 需要考虑页面的css，js,图片等资源。

举个例子：