场景：爬取某商城的部分商品。 队列设计 这里至少需要爬取2种资源，一种是商品列表，一种是商品信息。所以要设计1条队列，保存商品信息URL。 爬虫1定期爬前N个列表页 URL，把里面的商品信息URL爬下来，保存到队列里。 爬虫2定期从队列中抽出商品信息URL，爬取商品信息，爬完后把该URL移出队列。 所以呢，简单来说，只要...