Amazon OpenSearch Service与Amazon S3的无ETL集成预览

Amazon宣布了Amazon OpenSearch Service与Amazon S3的无ETL（提取、转换、加载）集成预览。这一创新方法允许用户在不切换服务的情况下，直接分析存储在Amazon S3和基于S3的数据湖中的操作日志。用户可以在云对象存储中无缝查询不常访问的数据，同时利用OpenSearch Service的操作分析和可视化功能。

OR1实例的发布

Amazon还发布了新的OR1实例，专为Amazon OpenSearch Service设计，使用Amazon S3作为主存储。这些实例能够处理大量数据的摄取、存储、索引和访问，据AWS称，其价格性能比现有实例类型提高了30%。

无ETL集成的优势

通过OpenSearch Service直接查询Amazon S3的功能，消除了ETL过程的需求，减少了与数据复制或管理多个分析工具相关的操作复杂性。用户可以直接查询操作数据，节省成本和时间。集成支持多种日志类型模板，包括预定义仪表板，并允许用户根据特定日志类型定制数据加速。

查询功能与配置

用户可以通过OpenSearch Dashboards或OpenSearch API直接启动查询，并轻松审核连接以确保可扩展性、成本效益和安全性。要开始使用此功能，用户可以通过AWS管理控制台或API为OpenSearch Service创建新的数据源。每个数据源使用AWS Glue Data Catalog管理代表S3桶的表。

数据加速设置

为了优化Amazon S3中的数据性能，用户可以设置三种加速：跳过索引、物化视图和覆盖索引。跳过索引仅索引Amazon S3中的元数据，物化视图支持复杂查询，覆盖索引则是最具性能的类型，摄取指定表列的所有数据。

OR1实例的详细信息

OR1实例提供11个9的数据持久性和零时间恢复点目标（RPO），确保极高的可靠性和弹性。这些实例支持交互式日志分析、实时应用程序监控等功能。OR1实例有八种规格，满足不同的计算需求，具体规格包括vCPU、内存和EBS存储容量。

存储与复制

Amazon Elastic Block Store（EBS）卷是主存储，数据到达时同步复制到S3。这种方法利用了最近为OpenSearch引入的远程备份存储和段复制功能。S3中的数据用于创建副本，并在节点故障或常规重新平衡操作后重新填充EBS。

支持的引擎版本和区域

OR1实例支持Amazon OpenSearch Service引擎版本2.11及以上，并在多个AWS区域提供，包括美国东部、美国西部、亚太和欧洲。用户可以选择按需或预留价格购买数据节点，并支付额外的EBS存储费用。

结论

OR1实例的引入标志着Amazon OpenSearch Service的重大进步，为用户提供了无与伦比的存储能力、改进的性能和强大的基础设施，适用于各种数据密集型应用。