A/B 测试曾让人头疼,直到我们找到了 Druid 的替代品

描述:A/B测试通过不同维度组合收集数据,处理百万级OPS实时数据。早期采用Apache Storm + Druid + MySQL架构,但无法满足数据时效性。2.0版本升级为Apache Flink + Druid + TiDB,仍存在数据一致性不足问题。最终3.0版本采用Apache Flink + Apache Doris,实现快速计算与数据完整性。通过本地聚合、全局哈希窗口及Doris的聚合模型,有效控制数据爆炸。利用排序索引和物化视图,将查询响应时间缩短至秒级。Sink-to-Doris组件结合Flink两阶段提交机制,确保端到端数据一致性。

阅读 88
0 条评论