Amazon OpenSearch Ingestion 发布概述

AWS 近日宣布推出 Amazon OpenSearch Ingestion，这是 Amazon OpenSearch Service 的一项新功能，提供无服务器、自动扩展的托管数据收集器，能够接收、转换并将数据传送到 Amazon OpenSearch Service 域或 Amazon OpenSearch Serverless 集合中。

功能与优势

1. 无服务器架构：OpenSearch Ingestion 基于开源项目 Data Prepper，支持流式 ETL（提取、转换和加载）功能。用户无需自行管理数据管道即可将日志、跟踪、指标等数据摄取到 OpenSearch Service 中。
2. 自动扩展：服务能够根据数据量的变化自动扩展，确保数据管道的稳定性。
3. 成本效益：用户按 OpenSearch Compute Units (OCUs) 计费，费用随流量自动调整。
4. 安全性：提供数据在传输和静态时的加密功能，确保数据安全。
5. 与其他 AWS 服务集成：支持与 Amazon S3 和 AWS Lambda 等服务无缝集成。

替代方案

OpenSearch Ingestion 可以作为 Logstash 或其他流式数据管道的替代方案，消除了管理多节点集群的复杂性，例如选择合适实例类型、应用安全补丁以及根据数据量波动调整节点数量。

使用场景与配置

1. 创建管道：用户可以通过 AWS 管理控制台创建管道，定义数据源、处理器和目标集群或集合。还可以从常见摄取用例的蓝图中选择。

2. 管道配置示例：开发者可以指定摄取容量（OCUs），并编辑 OpenSearch Service 接收器的 hosts、aws.sts_role_arn 和 region 字段。示例如下：

   version: "2"
   
   entry-pipeline:
     source:
       otel_trace_source:
         path: "/${pipelineName}/v1/traces"
     processor:
       - trace_peer_forwarder:
     sink:
       - pipeline:
           name: "span-pipeline"
       - pipeline:
           name: "service-map-pipeline"
   
   span-pipeline:
     source:
       pipeline:
         name: "entry-pipeline"
     processor:
       - otel_trace_raw:
     sink:
       - opensearch:
           hosts: [ "https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com" ]
           aws:
             sts_role_arn: "arn:aws:iam::123456789012:role/Example-Role"
             region: "us-east-1"
           index_type: "trace-analytics-raw"
   
   service-map-pipeline:
     source:
       pipeline:
         name: "entry-pipeline"
     processor:
       - service_map_stateful:
     sink:
       - opensearch:
           hosts: [ "https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com" ]
           aws:
             sts_role_arn: "arn:aws:iam::123456789012:role/Example-Role"
             region: "us-east-1"
           index_type: "trace-analytics-service-map"

市场竞争

市场上存在多个类似服务，例如 Google Cloud Dataflow、Microsoft Azure Stream Analytics、Confluent 和 Elastic Cloud，它们提供与 Amazon OpenSearch Ingestion 相似的功能。

可用性与定价

Amazon OpenSearch Ingestion 目前已在全球多个 AWS 区域上线，定价详情可在 Amazon OpenSearch 定价页面 的“Ingestion”部分查看。开发者还可通过 入门教程 获取更多指导。