CQ 社区版 2.9.0 | 新增告警配置、GaussDB-DWS、脱敏数据可明文查询等

头像
BinTools图尔兹
     浙江
    阅读 6 分钟
    头图

    春节已过，大家又开始了忙忙碌碌新的一年。新的一年，CloudQuery 依旧会陪伴着大家，带来更多新的功能和突破！

    下面就让我们来看看，本月 CloudQuery 社区版 2.9.0 在各个模块都有哪些值得关注的更新吧~

    新增功能

    系统管理：新增告警配置、开放角色管理二级菜单

    告警配置：支持系统告警和业务告警配置

    社区版 2.9.0，新增了 CQ 平台的告警配置功能，能够灵活地设置和定制各种告警规则和参数，增强了对系统运行状态的实时监控能力，提供预警机制。

    本次增加的「告警配置」主要包括「系统告警配置」和「业务告警配置」。

    1. 系统告警配置

    系统告警配置主要是针对 CQ 平台在==使用性能==上的告警配置，包含 CPU 使用率超过阈值、内存使用率超过阈值、系统异常、文件上传大小超过阈值、导入任务数超过阈值、文件读取大小超过阈值、文件上传大小超过阈值、license 剩余天数超过阈值。

    image.png

    2. 业务告警配置

    业务告警配置主要针对平台纳管数据库在操作上的告警配置，业务告警类型目前包含越权操作、高危操作、慢 SQL、批量操作。

    image.png

    📍「告警配置」的使用 Tips

    「系统告警配置」的阈值调整

    在「系统告警设置」中，告警类型的阈值都可进行设置。其中有三种类型的阈值需要注意，为：「文件大小」、「导入任务数」、「文件读取大小」。

    ❗️这三种类型的阈值需要与「系统设置」-「基础设置」中的保持一致，一处变动另一处也应跟着变动。

    告警方式

    目前可选择的告警方式有两种：系统消息通知（默认）、邮件通知（需进行邮件配置）。

    消息接收

    「系统告警」 的消息接收人类型只有「个人」，消息接收人默认为超级管理员(admin)，可修改具体的接收用户。

    「业务告警」 的消息接收人类型有个人、部门负责人和连接管理员。选择「部门负责人」和「连接管理员」即无需选择消息接收人；选择「个人」则需要选择消息接收人，消息接收人支持多选。

    👇 下图即为告警触发后系统管理员收到的系统消息通知

    image.png

    角色管理：系统角色开放二级菜单勾选权限

    以往版本中，「角色管理」中对于不同角色的授权我们只能勾选到一级菜单，比如对「DBA角色」开放「审计分析」模块的权限，默认开放整个模块的权限。

    本次版本，增加了二级菜单的勾选权限，如对「DBA角色」开放「审计分析」模块权限，可选择该模块下审计概览、对象审计、用户审计、权限看板部分开放。

    image.png

    批量执行

    「批量执行」功能加入到「工具权限」控制

    对于「批量执行」的功能，在本次版本中加入到了「工具权限」中。可通过权限来控制哪些连接可进行批量操作，并选择对哪些用户生效。

    📍 「批量执行」的使用路径

    ❗️ 「批量执行」权限设置

    「数据库管理」-「手动授权」，连接层级下用户的「工具权限」-「右键菜单」，可勾选「批量执行」。

    image.png

    用户使用路径

    「数据操作」- SDT树对应连接-右键菜单

    image.png

    增加脚本替换功能

    过往版本中，在创建批量执行任务后，脚本在执行过程中遇错终止后若想重新使任务执行完成，只能重新创建一个任务，这样就需要将前面执行成功的部分再执行一遍，效率较低。

    因此在这个版本中，我们增加了创建批量任务后的「脚本替换」功能。在完成批量任务创建后，在「任务详情」-「执行详情」可以替换脚本。

    image.png

    ❗️ 「脚本替换」注意点
    脚本替换时==只支持替换同名的脚本==，因为创建完批量任务后就已经生成了顺序文件，替换的脚本必须是同名同格式脚本，==否则会提示脚本上传不正确==。
    「批量执行」的其他功能优化
    • 上传脚本支持自动转换字符utf-8
    • 上传文件限制，仅支持上传纯文本文件，不允许上传图片、excel、视频等格式的文件
    • 增加 sqlplus 命令处理，不执行 sqlplus 命令，但会记录在日志中
    • 批量任务日志下载支持错误日志归档，即一个任务中日志下载包括全量日志和错误日志两个文件

    数据操作：SDT树、SQL编辑器、结果集、导出等优化

    SDT 树模块优化
    • SDT 树连接名增加「修改别名」功能

    针对不同用户使用同一个连接，场景不同连接名也可能不同，在之前的版本，连接名由创建者决定，使用者不允许修改连接名。

    本次更新，针对连接对用户开放「修改别名」的功能，修改别名后仅对自己可见，其它用户看见的还是原连接名。

    image.png

    • SDT 树排序优化，所有数据库对象排序默认按字符集顺序
    SQL 编辑器优化
    • SQL 编辑器支持 Ctrl+鼠标左键点击/Alt+s 的方式选中一条完整的SQL

    image.png

    • 支持选中语句进行导出，不需要查询完结果从结果集中导出

    本次更新，支持对 SQL 编辑器内语句进行直接导出。选中语句即可进行「导出选中语句」，不需要执行完结果后再导出。

    image.png

    ❗️ 「选中语句导出」权限设置

    「数据库管理」-「手动授权」，连接层级下用户的「工具权限」-「导出功能」全选。

    image.png

    • 语句执行结果细分：解析失败/鉴权失败/审核失败/执行失败/执行成功

    SQL 编辑器以及批量执行中语句操作过程大致分：解析-审核-鉴权-执行，数据变更中语句操作过程大致分：解析-执行。

    目前所有语句的操作结果都分为失败/成功两种，并未指明是哪个流程中执行/失败，只能在错误信息中查看。本次 2.9.0 中，我们将语句的具体执行状态结果展示出来，将执行结果细分为==解析失败、鉴权失败、审核失败、执行失败、执行成功。==

    image.png

    • 数据操作模块「执行日志」增加清除日志功能

    image.png

    结果集增加明文查询功能

    结果集工具栏中增加了「明文查看」功能。针对结果集中有敏感数据并且开启了复核的数据源，能够进行明文查询。明文查询时需要输入管理员提供的复核码，通过后即可查看明文数据。

    image.png

    ❗️ 「明文查询」注意点

    只有当查询的结果集中包含敏感数据，并且在「手动授权」-「基础配置」-「同步复核方式」开启了「otp 复核」，结果集工具栏中才会显示「明文查看」图标。

    Excel 文件导出增加水印

    在「系统设置」-「水印设置」中，增加了「EXCEL 水印设置」，设置完成后，系统中所有导出的 EXCEL 文件都会带上对应水印。

    image.png

    数据保护：新增脱敏命中率设置、增加检索功能

    数据脱敏新增设置脱敏命中率

    之前收到了一些小伙伴们的反馈，表示在进行脱敏设置后，结果集中只有被规则匹配到的数据才会脱敏，没有匹配到的则不脱敏。但在实际场景中，无法保证某一字段的数据一定是同类型，可能存在脏数据或者一些错误数据。

    基于这种情况，我们决定把是否脱敏的决定权交给用户。因此，在本次版本中，我们增加了「脱敏命中率」的设置。

    在「数据保护管理」-「脱敏数据」中，用户可以自定义脱敏规则的采样数据和命中率，达到命中率就会对结果集中所有数据进行脱敏。

    image.png

    数据保护管理增加检索功能

    有些情况下，我们可能知道库名是什么，但不清楚在哪个数据库连接下。因此开放了资源检索的能力。原来资源检索只在数据操作 sdt 树和连接管理中，本次更新，在「数据保护管理」-「资源列表」中也增加了检索功能。

    image.png

    授权：自动授权优化创建权限集、增加生效时间选项

    自动授权优化了权限集部分功能
    • 权限集策略优化

    在编辑策略时，测试时支持检索所有用户并展示命中策略条件的用户。

    image.png

    • 对权限集内不同层级的权限继承做了页面回显的优化

    CloudQuery 权限集中对于不同层级之前的权限继承逻辑是：上一层级配备的权限会自动继承给下一层级，而下一层级又可单独再进行权限配置。

    本次更新，我们则对权限集中不同层级之前的权限关系做了页面回显的优化：

    1. 在配置完上一层级的权限后，打开下一层级默认显示从上一层级继承的权限。
    2. 在下一层级完成权限调整后，如果和上一层级权限不一致，则会在上一层级给出相关提示：“此层级下存在其它权限设置，重置将清空下层级权限设置”
    3. 在右侧增加了权限集权限浏览窗口，可快速查看该权限集下权限配置情况

    image.png

    授权时增加「生效时间」选项

    目前，在「手动授权」中进行授权操作时，授权完生效时间即是“永久”，而用户进行提权申请时支持选择「生效时间」。

    因此，在授权时我们增加「生效时间」字段，管理员进行用户授权时可选择「永久」或「自定义时间段」。

    image.png

    数据源支持：新增 GaussDB-DWS、Oceanbase 终端

    新增数据源：GaussDB-DWS

    在数据源支持方面，本次 2.9.0 新增了 GaussDB-DWS，支持版本为 DWS 2.0、DWS3.0。

    image.png

    Oceanbase：开放终端能力

    针对 Oceanbase 数据源，开放了对应终端功能。现在，在「数据操作」 SDT树右键，即可打开终端。

    image.png

    Oracle：合并包和包体

    针对 Oracle 数据库元素，我们合并了「包」和「包体」，统一为「包」。

    image.png

    流程管理：工单「催一下」增加时间限制

    用户提交的流程申请，针对在「待审核」状态下的流程可进行「催一下」操作，为避免用户频繁点击，对该功能增加点击操作的时间间隔，每次操作间隔为 60s。

    image.png

    审计分析：记录事务提交过程

    在过往版本中，对于“事务是否提交”并未加入到审计的语句明细中，无法判断执行的语句是什么事务，是 rollback 还是 commit。

    社区版 2.9.0，在审计分析语句明细中增加一条记录，即记录用户在打开窗口时，就记录开启事务，再记录一些语句明细，最后记录是 rollback 还是 commit。

    image.png

    Bugfix

    • 修复了密码设置报错提示不清晰的问题
    • 修复了申请流程如果撤回目前支持删除的问题
    • 修复了手动授权对表对象进行搜索时只能搜索到当前页的表的问题
    • 修复查询结果总行数显示为 -1 的问题
    • 修复手动授权左侧搜索框，大写可以搜索出来小写，小写搜索不出来大写的问题
    • 修复了 oscar 数据库选择具体的 schema 上执行 sql 报错的问题
    • 修复了系统管理-系统设置-水印设置，点开帮助图标文案错误的问题

    新版本下载

    下载地址：https://www.cloudquery.club/download
    帮助文档：https://bintools.yuque.com/org-wiki-bintools-xniowl/do4ums

    用户反馈

    工单入口：https://www.cloudquery.club/login

    如果有更多你想要的功能/待优化的体验，欢迎添加小助手在社群告诉我们哦 🌹

    数据库运维编辑器安全gaussdb
    BinTools图尔兹
    10 声望2 粉丝

    杭州图尔兹信息技术有限公司，以研发为导向的工具产品型软件公司。主要产品：CloudQuery一体化数据操作管控平台、DockQuery新型数据库桌面客户端

    « 上一篇
    CQ 社区版 2.8.0 | 支持TiDB、StarRocks，新增列过滤算法、导出模式设置等
    下一篇 »
    CQ 社区版2.10.0 | 新增 SQL 审核、全新英文版上线…

    引用和评论

    推荐阅读
    头像
    SQL 审核在 CloudQuery 的四大场景应用

    BinTools图尔兹阅读 35

    头像
    高质量代码的原则

    寒青赞 4阅读 5.4k

    头像
    数据集汇总｜18个电影/音乐数据集汇总，覆盖影片/歌曲推荐、电影评价、歌词识别、音乐流派······

    超神经HyperAI赞 3阅读 1.2k

    头像
    使用 MongoDB 构建 AI：Gradient Accelerator Block 如何在几秒钟内让您从零开发 AI

    MongoDB数据平台赞 1阅读 12.9k

    头像
    MongoDB Atlas与YoMio.AI近乎完美适配:推理更快速、查询更灵活、场景更丰富

    MongoDB数据平台赞 1阅读 12.4k

    头像
    MongoDB 8.0已全面可用

    MongoDB数据平台阅读 12k

    头像
    简道云搭载阿里云MongoDB数据库，帮助数以万计企业重构业务系统

    MongoDB数据平台阅读 11.3k

    0 条评论
    得票最新