日志敏感数据扫描和脱敏最佳实践

概述

在数字化时代，企业对数据的依赖不断加深，数据的价值和安全性成为关注的焦点。敏感数据，如个人身份信息、财务数据和商业秘密，一旦泄露，不仅侵害个人隐私，还可能引发巨大的经济损失、法律责任和声誉损害。同时，随着全球化的推进，不同国家和地区对数据隐私保护的法律法规越来越严格，企业必须确保数据处理活动符合所有相关要求，避免法律风险和经济损失。在此背景下，日志作为记录企业服务和系统运行的关键数据，承载着大量潜在信息和价值，但其中也包含大量敏感数据。不当处理这些数据可能带来严重后果，如商业秘密泄露、黑客攻击的突破口，甚至法律纠纷。因此，如何对日志中的敏感数据进行恰当处理，已成为企业必须面对和解决的问题。

观测云提供统一日志存储和分析的能力，不仅能够帮助企业实现日志的有效管理和监控，还能够在敏感数据保护方面发挥重要作用。面对数据量巨大的日志，传统的数据脱敏方式可能显得繁琐且难以保证效果，如同大海捞针。为了有效解决这一问题，观测云提供了两个关键功能：敏感数据扫描和敏感数据脱敏。本文将探讨这两种功能的应用，分析它们在防止数据泄露、遵守法律法规以及维护企业声誉方面的重要性，以期为企业在数据安全领域提供有价值的参考和解决方案。通过这些高阶玩法，企业不仅能够有效防止数据泄露，还能确保遵守越来越严格的数据保护法规，同时在全球范围内维护其数据处理的合规性和安全性。

前提条件

1、安装采集器DataKit

• 登录观测云控制台，点击[集成]->[DataKit]

• 复制安装命令并执行

• 安装成功后，可在观测云控制台的[基础设施]中查看该主机的对象和指标数据

2、配置主机日志文件采集

• 进入 DataKit 安装目录下的 /usr/local/datakit/conf.d/log 目录，复制 logging.conf.sample 并命名为 logging.conf 。示例如下：

• 修改 logging.conf 文件中的日志文件路径，并自定义一个容易区分的 source 名称。示例如下：

• 重启 DataKit 后，即可在观测云控制台的[日志]查看器中查看相关日志。

# Linux/Mac 可能需加上 sudo
datakit service -T # stop
datakit service -S # start
datakit service -R # restart

原始日志如下：

敏感数据脱敏

数据采集上报到观测云工作空间以后，部分数据中存在的一些敏感信息字段，比如 IP 地址、用户信息等，针对这部分信息可以通过配置敏感字段来做脱敏处理。

2024-04-16 23:50:43 179.165.150.237 http://1iz0um7y8u.com 4 946992428190190490261158 [e-mail] No. 4ifzo1kqnn Street, Nameless City

脱敏规则配置

1、登录观测云，“管理”-“敏感数据脱敏” 。

2、点击“添加敏感规则”，并配置相应的“规则名称”，“数据类型”选择日志，“字段”选择 message ，“正则表达式”从模版库中选择相应的脱敏规则，或者自定义正则表达式，“角色”选择相应的账号角色，比如 Standard 。

注意：基于角色级别配置敏感数据屏蔽规则，当选定的角色查看日志数据时 IP 地址会被 *** 替代；支持多选。

3、点击“预览”，输入日志原文并点击“脱敏”，可以在下方文本框中查看日志内容是否被正确脱敏。然后点击“确认” 。

4、使用具有 Standard 角色的账号登录观测云并打开日志查看器，可以看到日志 message 中的 IP 地址已经被 *** 代替，脱敏功能生效。

注意：非 Standard 角色的账号登录观测云，依然可以看到未脱敏的日志信息。

敏感数据扫描

在使用观测云产品的过程中，会不可避免地产生如网络设备地址、Token、API 密钥、个人隐私等诸多敏感数据。为避免信息泄露，造成安全风险，观测云提供敏感数据扫描的功能，通过为数据创建脱敏规则的方式，实现自定义信息屏蔽。

扫描规则创建

1、点击“管理”-“敏感数据扫描” 。

2、选择“官方规则库”，从规则库中选择相应规则，比如 IPv4 地址扫描，然后点击“创建”。

脱敏方式：

• 通用加密：以 * 替换所有匹配的敏感数据；
• 部分加密：以 * 替换敏感数据中的部分字符串，可以保留部分敏感信息，例如：手机号 *1005 ；
• 替换加密：以指定的字符串替换所有匹配的敏感数据，替换后不可逆；
• MD5 加密：对任意数据都可以加密成固定长度字符串，替换后不可逆。

注意：规则创建后，5-10 分钟后生效。

3、打开日志查看器，可以看到相应字段已经经过 MD5 处理

MD5 加密的特点：

• 长度固定：不管多长的字符串，加密后长度相同，即 32 位；
• 高度离散：对原数据进行任何改动，即便是微小变化，也会导致运算结果差异巨大；
• 运算不可逆：已知运算结果的情况下，无法通过逆运算得到原始字符串，但仍能进行筛选定位。