elasticsearch如何按数组聚合？

Question

数据格式

{
    "name":"jay",
    "tags":["aaa","bbb"]
}
{
    "name":"kit",
    "tags":["aaa","bbb"]
}
{
    "name":"xiao",
    "tags":["aaa","ccc"]
}

等

如何按tags聚合数据？将jay和kit放在一起？

使用

get /user/_search
{
  "size":0,
  "aggs":{
    "tags":{
      "terms":{
        "field":"tags"
      }
    }
  }
}

最终将 aaa 聚合在一起，bbb聚合在一起 而不是将["aaa","bbb"]的聚合在一起。

请大佬解答。

Answer 1

你这种需求就是根据字段来分组，而不是根据数组项来分组了，数组是有序的话，可以新建一个字段tags_str，将数组值拼接成一个字符串，然后对tags_str进行分组查询就可以。不是有序的，只用Elasticsearch就很难搞了，需要程序上面进行处理一下。
1、数组无序
逻辑上面做分组。这会涉及到遍历一遍Elasticsearch索引里面的所有数据，数据量不大的情况下问题不大，数据量很大的情况下其实也不好处理，可以利用大数据的流式计算工具来实现
2、数组有序
建立mapping

PUT /test_index
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "tags": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      },
      "tags_str": {
        "type": "keyword"
      }
    }
  }
}

插入数据

PUT /test_index/_create/1
{
    "name":"jay",
    "tags":["aaa","bbb"],
    "tags_str": "aaabbb"
}
PUT /test_index/_create/2
{
    "name":"kit",
    "tags":["aaa","bbb"],
    "tags_str": "aaabbb"
}
PUT /test_index/_create/3
{
    "name":"xiao",
    "tags":["aaa","ccc"],
    "tags_str": "aaaccc"
}

查询数据

GET /test_index/_search
{
  "size":0,
  "aggs": {
    "group_by_tags_str": {
      "terms": {
        "field": "tags_str"
      },
      "aggs": {
        "group_by_name": {
          "terms": {
            "field": "name",
            "size": 10
          }
        }
      }
    }
  }
}

输出结果

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_tags_str" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "aaabbb",
          "doc_count" : 2,
          "group_by_name" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "jay",
                "doc_count" : 1
              },
              {
                "key" : "kit",
                "doc_count" : 1
              }
            ]
          }
        },
        {
          "key" : "aaaccc",
          "doc_count" : 1,
          "group_by_name" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "xiao",
                "doc_count" : 1
              }
            ]
          }
        }
      ]
    }
  }
}