无需写代码，在数据同步中实现实时脱敏

在数据库数据迁移、同步过程中，数据脱敏（Data Masking）是一个非常重要的步骤，是确保数据迁移、同步、测试等场景中 安全性、合规性和隐私保护 的关键技术。凡是涉及敏感数据传输，都需要考虑数据脱敏，避免数据泄露带来的损失。

数据脱敏主要可以分为 静态脱敏 和 动态脱敏 两大类。静态脱敏 指的是批量对数据进行脱敏处理，生成新的数据集，其中的关键信息已经被隐藏或替换，适用于 非生产环境（如开发、测试、数据分析等）。动态脱敏 则是实时对查询或访问的数据进行脱敏，不同权限、不同角色看到的数据信息不一样，适用于 生产环境。本文主要探讨静态脱敏。

适用场景

数据脱敏适用于大部分可能发生数据泄露的场景，尤其是涉及多部门工作人员或外部人员查阅使用数据时，数据脱敏是保护数据安全和隐私的重要手段。静态脱敏后的数据与生产环境隔离，操作人员可以随意取用脱敏数据，并进行读写操作，满足业务需要的同时保障生产数据的安全。静态数据脱敏常见的使用场景包括：

• 开发与测试环境：在搭建测试环境或开发环境时，经常需要使用真实数据进行模拟测试，但开发环境的安全级别往往不如生产环境严格。对数据进行脱敏后，开发人员只能获取数据的非敏感部分，既能满足测试需求，又能保护敏感信息。
• 科学研究：研究人员在进行数据分析时，通常需要大量真实数据。但直接使用包含敏感信息的数据，可能违反隐私保护法规。通过脱敏处理，研究人员可以使用无敏感信息的数据集进行分析，既满足研究需求，又符合隐私保护要求。
• 数据共享：企业在与合作伙伴或第三方机构共享数据时，直接提供原始数据可能存在泄露风险。在共享前对数据进行脱敏，确保对方获取的数据不包含敏感信息，从而在保护隐私的同时，实现数据的安全共享。

常用脱敏规则

实现静态脱敏常用的规则有以下几种：

脱敏类型	脱敏方法	示例
替换	用虚构但符合格式的数据替换真实数据	张三 -> 王五
重排	将原始数据中的某些字符或字段的顺序打乱	12345 -> 54123
加密	使用 AES、RSA 等算法加密	123456 -> Xy1#Rt
掩码	中间部分替换为 *	13812345678 -> 138**5678
截断	仅保留部分信息	622712345678 -> 6227

数据同步中的脱敏

在上述的适用场景中，需要实现数据迁移同步以及数据脱敏，最好的做法是在数据同步的过程中完成数据脱敏，相关人员可以直接获取脱敏后的数据使用，无需使用单独的脱敏工具，流程更简单高效，且过程中大大降低了数据泄露的风险，提高数据使用的合规性。

CloudCanal 作为专业的数据迁移同步工具，支持在数据迁移同步过程中转换数据，过去，用户需要用自定义代码实现数据同步中的脱敏操作，对于非开发人员不够友好。近期，CloudCanal 支持了脚本化数据脱敏，使用自研脚本，可在特定字段上设置数据转换脚本，任务运行时自动调用脚本，并对相应的字段值进行计算，实现“边同步，边脱敏”，适用于数据全量迁移、增量同步、校验和订正。

目前， CloudCanal 内置了 掩码 和 截断 的数据脱敏规则，可按照以下任意一种方式脱敏数据：

• 截取某个字符之后字符串
• 截取某个字符之前字符串
• 遮掩某个字符之后的字符串
• 遮掩某个字符之前的字符串
• 遮掩指定部分的字符串

总结

在数据同步时做好脱敏处理，提高数据安全性，避免敏感信息泄露，同时提升企业的运营效率，整个数据处理流程更高效顺滑。CloudCanal 提供了内置的数据脱敏脚本，可一键完成基本的数据脱敏操作，让数据脱敏更简单。