PowerData

以下文章来源于一臻数据 ,作者乙真仙人

[

一臻数据 .

一臻数据致力于大数据AI时代的前沿内容分享,欢迎大家投稿,共建共进❗️

](#)

  导读   本文主要分享 Apache Doris 中如何快速通过SQL的方式查询CRUD审计日志。

全文目录:

  1. 环境信息
  2. 插件介绍
  3. 快速体验

环境信息

1. 硬件信息

  • CPU:48C
  • CPU信号:X86\_64
  • 内存:185GB

2. 软件信息

  • 系统:CentOS
  • Apache Doris版本:2.0.2
  • JAVA版本:1.8

插件介绍

Doris默认装了是审计日志,即会将执行的SQL都记录到fe/log/fe.audit.log日志里,但如果需要映射到表、通过SQL的方式去查询解析这些日志的话,则需要安装配置审计日志插件。

Doris 的审计日志插件是在 FE 的插件框架基础上开发的,是一个可选插件。用户可以在运行时安装或卸载这个插件。

审计日志插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中,以方便用户通过 SQL 对审计日志进行查看和分析。

快速体验

1. AuditLoader配置

(1)下载 Audit Loader 插件

Audit Loader 插件在 Doris 的发行版中默认提供,通过官网下载 Doris 安装包解压并进入目录后即可在 extensions/audit\_loader 子目录下找到 auditloader.zip 文件。

(2)解压安装包

unzip auditloader.zip

解压后生成如下3个文件:

  • auditloader.jar:插件代码包。
  • plugin.properties:插件属性文件。
  • plugin.conf:插件配置文件。

(3)修改plugin.conf

以下配置可供修改:

  • frontend\_host\_port:FE 节点 IP 地址和 HTTP 端口,格式为 :。默认值为 127.0.0.1:8030。
  • database:审计日志库名,默认即可、需要与下一步的【创建库表】一致。
  • audit\_log\_table:审计日志表名,默认即可、需要与下一步的【创建库表】一致。
  • slow\_log\_table:慢查询日志表名,默认即可、需要与下一步的【创建库表】一致。
  • enable\_slow\_log:是否开启慢查询日志导入功能。默认值为 false。
  • user:集群用户名。该用户必须具有对应表的 INSERT 权限。
  • password:集群用户密码。

2. 创建库表

在 Doris 中,需要创建审计日志的库和表,表结构如下:

若需开启慢查询日志导入功能,还需要额外创建慢表 doris\_slow\_log\_tbl\_,其表结构与 doris\_audit\_log\_tbl** 一致。

其中 dynamic\_partition 属性根据自己的需要,选择审计日志保留的天数。

-- 创建审计日志库名

3. 初始化插件

INSTALL PLUGIN FROM [source] [PROPERTIES ("key"="value", ...)]

source 支持三种类型:

  • 指向一个 zip 文件的绝对路径。
  • 指向一个插件目录的绝对路径。
  • 指向一个 http 或 https 协议的 zip 文件下载路径

Example:

安装一个本地 zip 文件插件:

(1)安装一个本地zip文件插件

INSTALL PLUGIN FROM "/home/users/doris/auditdemo.zip";

(2)安装一个本地目录中的插件

INSTALL PLUGIN FROM "/home/users/doris/auditdemo/";

(3)下载并安装一个插件:注意需要放置一个和 .zip 文件同名的 md5 文件, 如 http://mywebsite.com/plugin.z... 。其中内容为 .zip 文件的 MD5 值

INSTALL PLUGIN FROM "http://mywebsite.com/plugin.zip";

(4)下载并安装一个插件,同时设置了zip文件的md5sum的值

INSTALL PLUGIN FROM "http://mywebsite.com/plugin.zip" PROPERTIES("md5sum" = "73877f6029216f4314d712086a146570");

执行install成功后会在fe/plugins/目录下自动生成AuditLoader目录

4. 查询验证

执行如下sql验证是否安装注册成功,Status为INSTALLED则说明安装成功

SHOW PLUGINS;

直接通过SQL查询审计日志,快速体验

select *

至此,【Apache Doris】审计日志插件 | 快速体验 分享结束,查阅过程中若遇到问题欢迎留言交流。**

往期推荐

[

大数据平台开发规范示例

](http://mp.weixin.qq.com/s?__b...

[

Kafka TO Doris 保姆级入门详解

](http://mp.weixin.qq.com/s?__b...

[

Apache Doris 资源隔离详解

](http://mp.weixin.qq.com/s?__b...

[

Apache Doris IP变更问题详解

](http://mp.weixin.qq.com/s?__b...

[

ChatGPT快速入门

](http://mp.weixin.qq.com/s?__b...

[

AIGC快速入门体验之虚拟对象

](http://mp.weixin.qq.com/s?__b...

[

如何正确地使用ChatGPT(角色扮演+提示工程)

](http://mp.weixin.qq.com/s?__b...

[](http://mp.weixin.qq.com/s?__b...

[](http://mp.weixin.qq.com/s?__b...

超强满血不收费的AI绘图教程来了(在线Stable Diffusion一键即用)


PowerData
1 声望2 粉丝

PowerData社区官方思否账号