0

请问
pyspider如何对某一个抓取值去重,不是url去重
比如我抓了很多文章,同样文章标题的不去抓取,过滤掉
请问怎么怎么设置,谢谢

leeker 44
2019-04-23 提问
2 个回答
0

已采纳

在脚本中覆盖get_taskid方法,相同文章标题的任务返回相同的taskid即可达到去重的效果

0

写入mysql后主键自动去重

撰写答案

推广链接