LLM驱动的OLAP:与Apache Doris的十美分体验

腾讯数据工程师团队采用大型语言模型(LLM)优化基于Apache Doris的OLAP服务,通过自然语言生成SQL语句,提升数据分析效率。团队构建了语义层,将业务术语映射为数据字段,优化复杂查询逻辑。为解决LLM推理速度慢和成本高的问题,团队制定了LLM解析规则,仅对复杂任务进行解析。此外,通过Schema Mapper和外部知识库增强LLM的领域知识,并利用插件连接更多信息源。最终形成SuperSonic框架,简化查询流程,提升性能。团队还优化了OLAP架构,拆分扁平表,使用Apache Doris的Rollup功能加速查询。

阅读 20
0 条评论