测试从一个页面抓取的所有链接,该网站的链接都有效,外站的都无效,为什么?

我抓取的是 https://www.space.com/38121-m... 这个页面的所有链接,用 urllib3.PoolManager() 的方法测试每个 link 的 status,不知道为什么该网站的链接 status code 都是200,显示有效,外站的链接就无效,如图。我换用 request 做也是一样的结果。求大神解答……

P.S. 我在北美这边,所以排除被墙这个可能……
图片描述

阅读 4.2k
2 个回答

在我大天朝,你想连facebook跟twitter???

以下为补充:

import requests
url = "https://www.facebook.com/spacecom?cmpid=556675"
detail = requests.get(url)
print(detail)

结果:

<Response [200]>

哈哈,这里是中国,请遵守相关法律法规,facebook和twitter,还有google等等是被禁掉的

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题