python根据首页url获取网站中所有的url?

我想获取一个电商网站的所有商品的网址,但是网上的答案都是获取当前网页的url,怎样简单的用python实现

阅读 1.2k
1 个回答

什么弱志问题

『网站中所有的url』假设有 10 GB

一个网页最多 1GB

如何从 1GB 获取 10GB?

不可能!


解决办法就是:

  • 从第一个 page 获取 N 个 URL
  • 然后通过 N 个URL 获取 NxN 个 page
  • 然后通过 NxN 个 page 获取 NxNxN 个 URL
  • 不断循环
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题