Elasticsearch Mapping的解析、数据类型、Mapping 支持属性、Mapping 字段设置流程

什么是Mapping（映射）

映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射（Mapping）用来定义一个文档，可以定义所包含的字段以及字段的类型、分词器及属性等等。

映射可以分为动态映射和静态映射。

1. 动态映射 （dynamic mapping）：在关系数据库中，需要事先创建数据库，然后在该数据库实例下创建数据表，然后才能在该数据表中插入数据。而ElasticSearch中不需要事先定义映射（Mapping），文档写入ElasticSearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。
2. 静态映射 ：在ElasticSearch中也可以事先定义好映射，包含文档的各个字段及其类型等，这种方式称之为静态映射。

# 静态映射：若映射（mapping）已经创建，写入数据时，elasticsearch会根据映射和写入数据的key进行对比，然后写入相应的映射中；
# 动态映射：如果mapping没有创建，elasticsearch将会根据写入的数据的key自行创建相应的mapping，并写入数据。
PUT /myindex/article/1
{
  "post_date": "2018-05-10",
  "title": "Java",
  "content": "java is the best language",
  "author_id": 119
}

# 可以使用_mapping查询索引的mapping
GET /myindex/article/_mapping

# 返回结果
{
    "myindex": {
        "mapping": {
            "article": {
                "properties": {
                    "author_id": {
                        "type": "long"
                    },
                    "content": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    },
                    "post_date": {
                        "type": "date"
                    },
                    "title": {
                        "type": "text",
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    }
                }
            }
        }
    }
}

# 手动创建mapping
PUT /lib6
{
  "settings": {
     "number_of_shards": 3,
     "number_of_replicas": 0
  },
  "mappings": {
     "books": {
        "properties": {
            "title": {"type": "text"},
            "name": {"type": "text", "ayalyzer": "standard"},
            "publish_date": {"type": "date", "index": false},
            "price": {"type": "double"},
            "number": {"type": "integer"}
        }
     }
  }
}

数据类型及支持属性

由上可见elasticsearch时支持数据类型的。

核心类型（Core datatype）

字符串：string，string类型包含 text 和 keyword。

• text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引；允许es来检索这些词，text类型不能用来排序和聚合。
• keyword：该类型不需要进行分词，可以被用来检索过滤、排序和聚合，keyword类型自读那只能用本身来进行检索（不可用text分词后的模糊检索）。

数指型：long、integer、short、byte、double、float

日期型：date

布尔型：boolean

二进制型：binary

PUT /myindex/article/2
{
  "post_date": "2018-05-12",
  "title": "html",
  "content": "I like html",
  "author_id": 120
}

PUT /myindex/article/3
{
  "post_date": "2018-05-16",
  "title": "es",
  "content": "Es is distributed document store",
  "author_id": 110
}

# 查不出数据
GET /myindex/article/_search?q=post_date:2018

# 返回结果
{
    "took": 198,
    "time_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 0,
        "max_score": null,
        "hits": []
    }
}

# 查出数据
GET /myindex/article/_search?q=post_date:2018-05-10

# 返回结果
{
    "took": 84,
    "time_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 1,
        "hits": [
            {
                "_index": "myindex",
                "_type": "article",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "post_date": "2018-05-10",
                    "title": "Java",
                    "content": "java is the best language",
                    "author_id": 119
                }
            }
        ]
    }
}

# 查出数据
GET /myindex/article/_search?q=content:html

# 返回结果
{
    "took": 45,
    "time_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "myindex",
                "_type": "article",
                "_id": "2",
                "_score": 0.2876821,
                "_source": {
                    "post_date": "2018-05-12",
                    "title": "html",
                    "content": "I like html",
                    "author_id": 120
                }
            }
        ]
    }
}

除字符串类型以外，其他类型必须要进行精确查询，因为除字符串外其他类型不会进行分词。

复杂数据类型（Complex datatypes）

数组类型（Array datatype），数组类型不需要专门指定数组元素的type，例如：

字符型数组：[“one”，“two”]

整型数组：[1, 2]

数组型数组：[1, [2, 3]] 等价于 [1, 2, 3]

对象数组：[{"name": "Mary", "age": 12}, {"name": "John", "age": 10}]

对象类型（Object datatype）：_object_ 用于单个Json对象

# object类型
PUT /lib/person/1
{
  "name": "Tom",
  "age": 25,
  "birthday": "1985-12-12",
  "address": {
     "country": "china",
     "province": "hubei",
     "city": "wuhan"
  }
}

# 底层存储格式——符合面向对象思想
{
  "name": ["Tom"],
  "age": [25],
  "birthday": ["1985-12-12"],
  "address.country": ["china"],
  "address.province": ["hubei"],
  "address.city": ["wuhan"]
}

嵌套类型（Nested datatype）：_nested_ 用于Json数组

{
  "persons": [
     {"name": "lisi", "age": 27},
     {"name": "wangwu", "age": 26},
     {"name": "zhangsan", "age": 23}
  ]
}

# 底层存储
{
  "persons": ["lisi", "wangwu", "zhangsan"],
  "persons": [27, 26, 23]
}

地理位置类型（Geo datatypes）

地理坐标类型（Geo-point datatype）：_geo_point_ 用于经纬度坐标

地理形状类型（Geo-Shape datatype）：_geo_shape_ 用于类似于多边形的复杂形状

特定类型（Specialised datatypes）

IPv4 类型（IPv4 datatype）：_ip_ 用于IPv4 地址

Completion 类型（Completion datatype）：_completion_ 提供自动补全建议

Token count 类型（Token count datatype）：_token_count_ 用于统计做子标记的字段的index数目，该值会一直增加，不会因为过滤条件而减少

mapper-murmur3 类型：通过插件，可以通过_murmur3_来计算index的哈希值

附加类型（Attachment datatype）：采用mapper-attachments插件，可支持_attachments_索引，例如 Microsoft office 格式，Open Documnet 格式， ePub，HTML等

Mapping 支持属性

• enabled：仅存储、不做搜索和聚合分析

  "enabled":true （缺省）| false

• index：是否构建倒排索引（即是否分词，设置false，字段将不会被索引）

  "index": true（缺省）| false

• index_option：存储倒排索引的哪些信息

  • 4个可选参数

    • docs：索引文档号
    • freqs：文档号+词频
    • positions：文档号+词频+位置，通常用来距离查询
    • offsets：文档号+词频+位置+偏移量，通常被使用在高亮字段

  • 分词字段默认时positions，其他默认时docs

    "index_options": "docs"

• norms：是否归一化相关参数、如果字段仅用于过滤和聚合分析、可关闭

  • 分词字段默认配置，不分词字段：默认{"enable": false}，存储长度因子和索引时boost，建议对需要参加评分字段使用，会额外增加内存消耗

    "norms": {"enable": true, "loading": "lazy"}

• doc_value：是否开启doc_value，用户聚合和排序分析

  • 对not_analyzed字段，默认都是开启，分词字段不能使用，对排序和聚合能提升较大性能，节约内存

    "doc_value": true（缺省）| false

• fielddata：是否为text类型启动fielddata，实现排序和聚合分析

  • 针对分词字段，参与排序或聚合时能提高性能，不分词字段统一建议使用doc_value

    "fielddata": {"format": "disabled"}

• store：是否单独设置此字段的是否存储而从_source字段中分离，只能搜索，不能获取值

  "store": false（默认）| true

• coerce：是否开启自动数据类型转换功能，比如：字符串转数字，浮点转整型

  "coerce: true（缺省）| false"

• multifields：灵活使用多字段解决多样的业务需求

• dynamic：控制mapping的自动更新

  "dynamic": true（缺省）| false | strict

• data_detection：是否自动识别日期类型

  data_detection：true（缺省）| false

dynamic和data_detection的详解：Elasticsearch dynamic mapping（动态映射） 策略

• analyzer：指定分词器，默认分词器为standard analyzer

  "analyzer": "ik"

• boost：字段级别的分数加权，默认值是1.0

  "boost": 1.23

• fields：可以对一个字段提供多种索引模式，同一个字段的值，一个分词，一个不分词

  "fields": {"raw": {"type": "string", "index": "not_analyzed"}}

• ignore_above：超过100个字符的文本，将会被忽略，不被索引

  "ignore_above": 100

• include_in_all：设置是否此字段包含在_all字段中，默认时true，除非index设置成no

  "include_in_all": true

• null_value：设置一些缺失字段的初始化，只有string可以使用，分词字段的null值也会被分词

  "null_value": "NULL"

• position_increament_gap：影响距离查询或近似查询，可以设置在多值字段的数据上或分词字段上，查询时可以指定slop间隔，默认值时100

  "position_increament_gap": 0

• search_analyzer：设置搜索时的分词器，默认跟analyzer是一致的，比如index时用standard+ngram，搜索时用standard用来完成自动提示功能

  "search_analyzer": "ik"

• similarity：默认时TF/IDF算法，指定一个字段评分策略，仅仅对字符串型和分词类型有效

  "similarity": "BM25"

• trem_vector：默认不存储向量信息，支持参数yes（term存储），with_positions（term+位置），with_offsets（term+偏移量），with_positions_offsets（term+位置+偏移量）对快速高亮fast vector highlighter能提升性能，但开启又会加大索引体积，不适合大数据量用

  "trem_vector": "no"

Mapping 字段设置流程