0

想实现爬列表页的时候,发现有已经被爬过的文章url就停止列表爬取,否则继续下一页,如何实现?

hunsh 241
2018-11-29 提问
1 个回答
0

爬过的url写进记录里面,比如pickle文件。需要的时候调出来检查一下就知道了。

撰写答案

推广链接