主要观点:GigAPI 是一个针对实时数据优化的“湖屋”,结合了 DuckDB 的性能、FlightSQL 的效率和 Parquet 的可靠性,提供简单、轻量的解决方案来降低复杂性和基础设施成本,是 100%开源的。
关键信息:
- 提供快速的 OLAP API 引擎,支持灵活的模式无 Parquet 摄入与压缩,简单易维护且可无限扩展,具有智能的组件分离和可扩展特性。
- 支持写入数据,通过 InfluxDB Line Protocol 格式,渐进式地将写入请求解析并追加到 Parquet 文件和元数据中,根据配置进行合并和排序。
- 支持读取数据,通过解析读取请求并使用 GigAPI 元数据目录来解析数据位置,可使用 SQL 或 FlightSQL GRPC 客户端进行查询,还提供嵌入式 UI 和与 Grafana 的集成。
- 采用“数据层”概念进行高效数据存储和管理,可配置不同类型的存储层(如文件系统、S3 等),并根据 Time-to-Live 进行数据转移。
- 支持 S3 配置,提供 S3 URL 格式及相关参数设置,同时考虑了安全和故障排除等方面。
重要细节: - 环境变量可用于覆盖默认设置,如数据存储路径、合并超时等。
- GigAPI 是公开的开放测试版本,可能存在 bug 和变化,使用需谨慎。
- 引用了 DuckDB、ClickHouse、InfluxDB 的商标信息,以及发布的 MIT 许可证。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。