行业痛点-质量问题永远在报表里暴露
数据质量的代价,往往不是在数据入库时被发现,而是在决策会议上当着全场的面爆发。
📊 规则冷启动难:编写有效的质量规则需同时具备业务知识和技术能力。这类人才稀缺,导致规则要么缺失,要么泛化到没有业务意义(全是 NULL 检查),新项目上线后质量监控长期"裸奔"。
🔔 告警噪声严重:规则粒度粗、阈值设置不合理,导致每天产生大量误报。数据团队陷入"告警疲劳",真正的质量问题反而被淹没。
🔄 规则维护成本高:表结构变化、业务逻辑迭代后,质量规则需同步更新,但往往滞后数周甚至数月,规则失效后无人察觉。
🐢 规则上线链路长:一条质量规则从监控需求提出到真正生效,要经历需求分析→规则模板创建→参数调试→规则配置→任务运行五个环节,周期以周计。覆盖度始终追不上业务增长,大量字段长期处于"无规则监控"状态。
Agent 介绍
Astro 数据质量 Agent 提供双方案并行的规则推荐机制:知识库方案基于五级数据分类体系和内置质量规则模板,适合已有分类体系的客户快速匹配行业最佳实践;专家规则方案融合数据标准技术属性、采样数据特征和内置专家规则库(正则、码值、时间格式、时间对比),适合冷启动场景。
推荐结果覆盖完整性、唯一性、规范性、一致性、准确性、及时性六大质量维度,支持一键推送至 TDS 并自动创建质量检查任务,实现从规则推荐到任务执行到质量报告的端到端闭环。
一. 双方案驱动的质量规则推荐流程
系统支持三种输入方式:
- TDS元数据选择
- 本地Excel上传
- 自然语言输入表名
流程分为两条路径:
- 知识库方案(适合已有分类体系的客户)
-获取/确认四级分类(业务大类)
-匹配五级分类(字段细类)知识库
-召回对应质量规则模板 - 专家规则方案(适合冷启动、无全量分类的客户)
-提取数据标准技术属性
-采样数据特征分析
-内置专家规则库匹配
两条路径的结果经过分类驱动规则匹配与多源融合规则推荐后,进行规则合并去重(智能去重算法,规则来源可解释),最终输出规则推荐结果。
二、端到端闭环流程
规则推荐结果生成后,进入以下闭环流程:
1.在线确认/编辑
2.推送TDS
3.创建质量任务
4.执行检查
5.生成质量报告
三、两种方案对比
对比分析——传统方式 vs. Astro Agent
技术优势
双方案驱动,让质量管理从规则稀缺到智能推荐
- 知识库 + 专家规则双方案,适配不同客户成熟度
已有数据分类体系的客户,通过知识库方案快速匹配行业规则模板;尚未建立分类体系的客户,专家规则方案融合数据标准、采样数据和内置规则库,同样能快速产出高质量规则。两种方案可在同一个 Agent 中按需切换。 - 端到端闭环:从推荐到报告
规则推荐完成后,支持在线预览和编辑确认,一键推送至 TDS 并自动创建质量检查任务。任务执行完成后生成结构化质量报告,包含异常明细、通过率、问题分布等关键指标。全流程无需切换系统。 - 主动 + 被动双模式运营
用户可以主动选择元数据发起规则推荐;系统也支持配置定时任务,自动扫描新增或变更的元数据,触发规则推荐流程,以工单形式推送给治理人员。两种模式确保质量规则覆盖不留死角。 - 规则来源可解释,支持透明审计
每条推荐规则都标注来源(知识库模板匹配 / 数据标准关联 / 专家规则匹配 / 采样数据推断),支持配置文件动态调整专家规则逻辑。规则不是黑箱输出,业务人员可追溯每条规则的生成依据。
实战场景
从规则稀缺到规则自动化
- 元数据选择 → 规则推荐 → 任务执行
选择 TDS 元数据或上传 Excel,Agent 自动输出执行步骤。用户确认四级分类后,Agent 推荐质量规则并在线展示。用户可删除不需要的规则,确认后选择"批量录入规则到 TDS 并创建和启动任务",任务执行完成即可查看质量检查报告。 - 自然语言提问 → 模糊匹配 → 精准推荐
直接输入"为个人客户信息表推荐质量规则",Agent 自动模糊匹配用户有权限的工作区下的数据表,用户通过序号确认后进入推荐流程。降低使用门槛,业务人员也能快速发起质量检查。 - 跨团队协作 → 工单分发 → 协同确认
规则推荐结果可通过工单、邮件、企业微信推送给业务方或管理层。接收方可直接确认或修改规则,所有操作保留版本历史,形成完整的协作轨迹和审计记录。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。