美团外卖采数据遇到的问题。

Question

我现在在下载美团外卖的数据，但是出现了三个问题。
一个是餐馆的地址总是变，我第一级刚把餐馆的网址列表拿到，第二级就显示我无权访问该网页。
第二个问题是，网页在使用DS打数机抓取时就显示页面不存在，但是我用同样的网址拷贝到浏览器中就可以显示，这是不是意味着美团发现我在下数据，进行了反爬？
第三个问题是，我将网址设置为下级线索，但是当运行上一级线索 时应该自动运行下级线索吧？现在却没有自动运行，我是在哪里出错了吗？

Answer 1

1、网址变化的情况是目标网站的设置，爬虫这边解决不了的，你说的无权访问该网页应该不是网址在变，而是跟第二个问题一样的情况。
2、是遇到反爬了。
3、设置了层级采集，两级规则是要分开手工运行的，不是自动连贯的。
4、需要更换代理IP了，找那种高匿或者独享的。