GitHub - gigapi/gigapi: GigAPI 是一个用于实时数据和亚秒级查询的时间序列湖屋,由 DuckDB OLAP + Parquet 查询引擎、带有云原生存储的压缩器提供支持。即插即用的 FDAP 替代品 🚀

主要观点:GigAPI 是一个针对实时数据优化的“湖屋”,结合了 DuckDB 的性能、FlightSQL 的效率和 Parquet 的可靠性,提供简单、轻量的解决方案来降低复杂性和基础设施成本,是 100%开源的。
关键信息

  • 提供快速的 OLAP API 引擎,支持灵活的模式无 Parquet 摄入与压缩,简单易维护且可无限扩展,具有智能的组件分离和可扩展特性。
  • 支持写入数据,通过 InfluxDB Line Protocol 格式,渐进式地将写入请求解析并追加到 Parquet 文件和元数据中,根据配置进行合并和排序。
  • 支持读取数据,通过解析读取请求并使用 GigAPI 元数据目录来解析数据位置,可使用 SQL 或 FlightSQL GRPC 客户端进行查询,还提供嵌入式 UI 和与 Grafana 的集成。
  • 采用“数据层”概念进行高效数据存储和管理,可配置不同类型的存储层(如文件系统、S3 等),并根据 Time-to-Live 进行数据转移。
  • 支持 S3 配置,提供 S3 URL 格式及相关参数设置,同时考虑了安全和故障排除等方面。
    重要细节
  • 环境变量可用于覆盖默认设置,如数据存储路径、合并超时等。
  • GigAPI 是公开的开放测试版本,可能存在 bug 和变化,使用需谨慎。
  • 引用了 DuckDB、ClickHouse、InfluxDB 的商标信息,以及发布的 MIT 许可证。
阅读 10
0 条评论