InfluxData发布InfluxDB IOx数据库引擎

InfluxData宣布其新版数据库引擎InfluxDB IOx正式进入通用可用性阶段，并已在InfluxDB Cloud中上线。

新引擎的主要特点

• 开发语言：InfluxDB IOx使用Rust开发。

• 数据处理能力：能够处理指标（Metrics）、事件（Events）和追踪（Traces）。

  • 指标：定期从来源轮询的时间序列数据，用于了解服务的性能和可用性。
  • 事件：由某些条件触发的状态变化（如部署代码、HTTP 5XX错误），可与指标关联以获得更多洞察。
  • 追踪：捕获信息以展示请求在分布式系统中的传播。

新引擎的优势

• 实时数据摄取：InfluxDB IOx允许InfluxDB Cloud实时摄取数据并即时生成指标。

• 高基数数据处理：更好地支持可观测性和分布式追踪用例，这些用例依赖于高基数数据。

  • 分布式系统：在分布式系统中，了解各个组件的相互依赖关系至关重要，因为错误、瓶颈和延迟可能影响整个系统的性能。
  • 追踪：追踪是理解分布式系统中不同部分如何协同工作的可观测性概念，提供请求、操作、任务等工作单元的视图。
  • 高基数数据：对于时间序列数据库，基数可能成为问题，特别是对于用户ID、IP地址和容器ID等无界值数据。

技术细节

• 列式结构和压缩能力：新引擎具有新的列式结构和压缩能力，使InfluxDB Cloud能够处理无界数据的标签值而不会降低性能。

  • 数据持久化格式：使用Apache Parquet，实现更好的压缩和低存储成本。
  • 数据写入：当新数据到达时，IOx将数据写入表的列并保存到新的Parquet文件中，同时在Parquet元数据中包含一些提示，供查询引擎在查询时跳过不相关的Parquet文件或部分文件。
  • 查询性能优化：查询引擎利用并行性、内存缓存和下推概念来提高低延迟查询性能。

开发者工具

• Apache DataFusion：使用基于Rust的查询引擎Apache DataFusion，开发者可以使用原生SQL查询来收集信息，同时仍可使用Flux语言进行更高级的数据处理。

可用性和未来计划

• 当前可用区域：目前在两个AWS区域可用，分别是弗吉尼亚（us-east-1）和法兰克福（eu-central-1）。
• 未来扩展：计划增加新的可用区，并扩展到Azure和Google Cloud。

通过InfluxDB IOx，InfluxData进一步提升了其在可观测性和分布式追踪领域的能力，为开发者提供了更高效、更灵活的数据处理工具。