请问pyspider如何对某一个抓取值去重,不是url去重比如我抓了很多文章,同样文章标题的不去抓取,过滤掉请问怎么怎么设置,谢谢
在脚本中覆盖get_taskid方法,相同文章标题的任务返回相同的taskid即可达到去重的效果
写入mysql后主键自动去重
2 回答5k 阅读✓ 已解决
2 回答1k 阅读✓ 已解决
4 回答920 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
1 回答1.6k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
1 回答3.1k 阅读
2 回答3.6k 阅读
2 回答3.6k 阅读✓ 已解决
1 回答4k 阅读
2 回答4.7k 阅读
在脚本中覆盖get_taskid方法,相同文章标题的任务返回相同的taskid即可达到去重的效果