PySpider如何去重?

请问
pyspider如何对某一个抓取值去重,不是url去重
比如我抓了很多文章,同样文章标题的不去抓取,过滤掉
请问怎么怎么设置,谢谢

阅读 4.3k
2 个回答

在脚本中覆盖get_taskid方法,相同文章标题的任务返回相同的taskid即可达到去重的效果

新手上路,请多包涵

写入mysql后主键自动去重

推荐问题