关于网络爬虫如何避免环路（死循环）与避免陷阱（出不来）？

那么我们如何防止访问已经访问过的页面呢？设置一个标志即可。整个互联网就是一个图结构，我们通常使用DFS（深度优先搜索）和BFS（广度优先搜索）进行遍历。所以，像遍历一个简单的图一样，将访问过的结点标记一下即可。

解决方案

1.限定爬虫的最大循环次数，对于某Web站点访问超过一定阈值就跳出，避免无限循环；
2.保存一个已访问Url列表，记录该页面是否被访问过的；

关于抓取策略

1.调度爬虫抓取压力，限制访问次数与时间，超时后自动切换。

2.限制Url的字节长度，环路可能会使得Url长度增加。

3.去掉无用字符与URL别名，制定Url的规范。