ElasticSearch索引别名的应用

头像
wnhyang
     浙江
    阅读 7 分钟

    个人博客：无奈何杨（wnhyang）

    个人语雀：wnhyang

    共享语雀：在线知识共享

    Github：wnhyang - Overview

    Elasticsearch 索引别名是一种极为灵活且强大的功能，它允许用户为一个或多个索引创建逻辑上的别名。这些别名用途广泛，涵盖查询、索引操作以及索引管理等多个方面。以下为一些常见的索引别名应用场景：

    简化查询

    通过创建别名，用户能够以更简洁的名称访问一个或多个索引。例如，若你有一个索引名为products_2024，可创建别名current_products以简化查询流程：

    POST /_aliases
{
    "actions": [
        { "add": { "index": "products_2024", "alias": "current_products" } }
    ]
}

    在执行查询时，只需使用别名：

    GET /current_products/_search
{
    "query": {
        "match": { "category": "electronics" }
    }
}

    如此一来，不仅使查询语句更为简洁，也降低了因索引名称变更而需大规模修改查询代码的风险，提高了代码的可维护性。

    索引版本管理

    当需要滚动更新索引（如按月或按年创建新索引）时，别名可用于指向当前活跃的索引。这种方式下，用户仅需更新别名，而无需对查询代码进行修改。

    1. 创建索引和别名：
    PUT /products_2024
{
    "aliases": {
        "current_products": {}
    }
}
    1. 创建新索引并切换别名：
    PUT /products_2025
{
    "aliases": {
        "current_products": {}
    }
}
POST /_aliases
{
    "actions": [
        { "remove": { "index": "products_2024", "alias": "current_products" } },
        { "add": { "index": "products_2025", "alias": "current_products" } }
    ]
}

    通过这种方式，实现了索引版本的平滑过渡，保证了业务查询的连续性，极大地减少了因索引更新带来的系统影响。

    处理索引重建和升级

    在对现有索引进行重建或升级（如更改映射或设置）时，可先创建新索引，再通过别名切换至新索引，从而确保服务不中断。

    1. 创建新索引：
    PUT /products_v2
{
    "mappings": {
        "properties": {
            "new_field": { "type": "text" }
        }
    }
}
    1. 切换别名：
    POST /_aliases
{
    "actions": [
        { "remove": { "index": "products_v1", "alias": "products" } },
        { "add": { "index": "products_v2", "alias": "products" } }
    ]
}

    这种操作方式使得索引重建和升级过程对业务的影响降至最低，保证了系统的稳定性和可用性。

    执行多索引查询

    用户可为多个索引创建一个别名，借此通过该别名对多个索引执行查询操作。例如，假设有多个分区索引，如logs_2023_01、logs_2023_02，可创建别名logs_2023以查询这些索引：

    POST /_aliases
{
    "actions": [
        { "add": { "index": "logs_2023_01", "alias": "logs_2023" } },
        { "add": { "index": "logs_2023_02", "alias": "logs_2023" } }
    ]
}

    查询时，只需使用logs_2023作为索引名称：

    GET /logs_2023/_search
{
    "query": {
        "match": { "status": "error" }
    }
}

    这一功能在处理大规模数据查询时，能够显著提高查询效率，减少重复查询操作。

    隔离读写操作

    通过为写入操作和读取操作分别设置不同别名，可有效隔离读写操作。例如，设置别名write_index用于索引新数据，设置别名read_index用于搜索查询：

    POST /_aliases
{
    "actions": [
        { "add": { "index": "logs_2024", "alias": "write_index" } },
        { "add": { "index": "logs_2023", "alias": "read_index" } }
    ]
}

    在更新时切换写入别名：

    POST /_aliases
{
    "actions": [
        { "remove": { "index": "logs_2023", "alias": "write_index" } },
        { "add": { "index": "logs_2024", "alias": "write_index" } }
    ]
}

    这种隔离机制有助于提高系统性能，防止写操作对读操作产生性能干扰。

    数据迁移

    在将正常运行集群中的索引迁移到另外一个索引时，使用索引别名可以做到无须停机操作。例如，假设要将old_index迁移至new_index ，可以先为new_index添加与old_index相同的别名，应用程序在迁移过程中依然通过该别名进行访问，待数据迁移完成，删除old_index以及其相关别名，不会影响业务的正常运行。具体操作如下：

    1. 为新索引添加别名：
    POST /_aliases
{
    "actions": [
        { "add": { "index": "new_index", "alias": "old_index" } }
    ]
}
    1. 数据迁移完成后，删除旧索引别名：
    POST /_aliases
{
    "actions": [
        { "remove": { "index": "old_index", "alias": "old_index" } }
    ]
}
    1. 删除旧索引：
    DELETE /old_index

    索引分组管理

    可以将多个索引进行分组，以便于更好的管理。例如，假设有一系列与销售数据相关的索引，sales_2023_q1、sales_2023_q2、sales_2023_q3、sales_2023_q4 ，可以为它们添加一个统一的别名sales_2023，对这一年度的销售数据索引进行统一管理。操作如下：

    POST /_aliases
{
    "actions": [
        { "add": { "index": "sales_2023_q1", "alias": "sales_2023" } },
        { "add": { "index": "sales_2023_q2", "alias": "sales_2023" } },
        { "add": { "index": "sales_2023_q3", "alias": "sales_2023" } },
        { "add": { "index": "sales_2023_q4", "alias": "sales_2023" } }
    ]
}

    之后在进行涉及全年销售数据的查询、统计等操作时，直接使用sales_2023别名即可，方便快捷。

    索引子集创建

    给索引创建类似于视图的子集。例如，在一个包含大量用户信息的索引users中，若只想对特定年龄段（如 18 - 30 岁）的用户数据进行操作，可以创建一个过滤器别名。假设索引中有age字段，操作如下：

    1. 创建过滤器别名：
    POST /_aliases
{
    "actions": [
        {
            "add": {
                "index": "users",
                "alias": "young_users",
                "filter": {
                    "range": {
                        "age": {
                            "gte": 18,
                            "lte": 30
                        }
                    }
                }
            }
        }
    ]
}
    1. 使用过滤器别名查询：
    GET /young_users/_search
{
    "query": {
        "match_all": {}
    }
}

    此时通过young_users别名查询，返回的结果就只会是符合年龄范围的用户数据。

    Elasticsearch 索引别名实现读写分离

    Elasticsearch 的索引别名功能可用于实现读写分离，这是一种常见的架构模式，有助于提升系统的可伸缩性和性能。在实际应用中，读写分离可确保写操作不会影响读操作的性能，同时可利用多索引分散读取负载。

    实现读写分离的基本思路

    1. 写入索引：

      • 新的写入操作被路由至一个单一的写入索引。
      • 该索引通常为最新的索引，专门用于接收新的数据写入。

    2. 读取索引：

      • 读取操作被路由至一个或多个读取索引。
      • 读取索引可包括最新的写入索引以及其他已关闭写入操作的旧索引。
    3. 使用别名：

    通过使用别名，可将写入操作路由至写入索引，同时将读取操作路由至读取索引组。

    实际应用案例

    假设拥有一个日志聚合系统，每天创建一个新索引以存储当天的日志数据。需确保写入操作仅发生在最新的索引上，而读取操作可分布到多个索引上。

    1. 步骤 1：创建索引和别名

      • 创建写入索引：

        • 创建名为logs_2024-08-01的索引。
        • 创建别名write_index，使其指向logs_2024-08-01。
    -   **创建读取索引组**：

    -   创建别名read_index_group，最初指向logs_2024-08-01。
    1. 步骤 2：写入数据

    所有的写入操作都通过write_index别名进行，这些操作会被路由到logs_2024-08-01。

    1. 步骤 3：读取数据

    读取操作通过read_index_group别名进行，最初同样指向logs_2024-08-01。

    1. 步骤 4：滚动索引

      • 创建新的写入索引：

        • 创建新索引logs_2024-08-02。
        • 更新write_index别名，使其指向logs_2024-08-02。

      • 更新读取索引组：

        • 将logs_2024-08-02添加到read_index_group别名中。
        • 若有需要，可将旧索引logs_2024-08-01从read_index_group别名中移除。
    示例命令

    假设已创建logs_2024-08-01和logs_2024-08-02索引，且希望更新别名以实现读写分离：

    1. 创建写入索引别名：
    curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{
    "actions": [
        { "add": { "index": "logs_2024-08-01", "alias": "write_index" } }
    ]
}
'
    1. 创建读取索引组别名：
    curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{
    "actions": [
        { "add": { "index": "logs_2024-08-01", "alias": "read_index_group" } }
    ]
}
'
    1. 滚动索引：
    curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{
    "actions": [
        { "remove": { "index": "logs_2024-08-01", "alias": "write_index" } },
        { "add": { "index": "logs_2024-08-02", "alias": "write_index" } },
        { "add": { "index": "logs_2024-08-02", "alias": "read_index_group" } }
    ]
}
'

    总结

    1. 写入索引 ( write_index ) ：用于接收新的写入操作。
    2. 读取索引组 ( read_index_group ) ：用于分散读取操作的负载。
    3. 滚动索引：定期更新别名，确保新的写入操作被路由到最新的索引，同时保持读取操作分布在多个索引上。

    这种方式在高并发和大数据量的场景下，能够有效提升系统的性能和可伸缩性。

    写在最后

    拙作艰辛，字句心血，望诸君垂青，多予支持，不胜感激。

    个人博客：无奈何杨（wnhyang）

    个人语雀：wnhyang

    共享语雀：在线知识共享

    Github：wnhyang - Overview

    elasticsearch
    wnhyang
    9 声望0 粉丝
    « 上一篇
    业务链指标，用户行为模式识别，埋点系统

    引用和评论

    推荐阅读
    头像
    从零开始 Elasticsearh Docker 单机集群

    zzMeow赞 1阅读 2.8k

    头像
    一夜之间，7.0万 Star，全部清零！

    CodeSheep阅读 1.3k

    头像
    ElasticSearch源码本地调试指南

    Foghost阅读 1.1k

    头像
    Elasticsearch 8.x 重要变化（qbit）

    qbit阅读 795

    头像
    超值选择：阿里云Elasticsearch Serverless在企业数据检索与分析中的高性能与灵活性

    阿里云大数据AI阅读 416

    头像
    试试 Elasticsearch 的 unsigned_long（qbit）

    qbit阅读 409

    头像
    阿里云 Elastic Enterprise 正式上线！

    阿里云大数据AI阅读 405

    0 条评论
    得票最新