lucene的DuplicateFilter过滤器做去重

最近用 lucene的DuplicateFilter过滤器做去重,一开始发现有去重的效果,但是经常会去不干净,看了半天源码,发现在它是每个段过滤一次,如果索引中有多个段中都包含有相同内容,则还是会出来几条记录,这种情况应该怎么处理呢?

阅读 1.6k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题