Apache Atlas 数据血缘

01 什么是数据血缘

数据血缘跟踪、记录、展示了数据来自何处，以及在数据流转过程中应用了哪些转换操作，它有助于追溯数据来源及处理过程。

数据血缘系统的核心功能：

• 数据资产的自动发现及创建
• 血缘关系的自动发现及创建
• 不同视角的血缘及资产分析展示

与数据血缘容易混淆的概念：数据起源。数据起源重点在于跟踪数据的原始来源，包括与数据相关的采集、规则、流程，以帮助数据工程师评估数据的质量。

02 Apache Atlas 及其特性

Atlas 是一套可伸缩且可扩展的数据治理服务，使企业能够有效和高效地满足其在 Hadoop 生态中的合规要求，并允许与整个企业数据生态系统集成。

Atlas 为组织提供开放的元数据管理和治理能力，以建立其数据资产目录、对这些资产进行分类和管理，并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作能力。

• 元数据及实体

预定义的 Hadoop 及非 Hadoop 系统的元数据类型。

基于 Rest API 的类别及实体管理

类别及实体的自动捕获

• 数据血缘

血缘自动捕获

可探查的数据血缘展示

基于Rest API的数据血缘管理

• 搜索

可按数据资产类别，实体及属性的搜索

基于 Rest API 的复杂搜索

类 SQL 的搜索语言

• 安全及敏感数据遮蔽

元数据访问的细粒度管控。

与 Apache Ranger 集成，进行基于实体分类的授权及数据遮蔽。

• 分类

类别自动发现

实体类别标签自动化

基于血缘分类传播

03 数据血缘视角

（一）工程师视角

数据工程师通常希望看到数据处理细节的血缘，例如数据处理过程中的 mapping，de-duplicate，data masking，merge，join， update, delete, insert 等诸如此类的操作，这样便于在数据出现问题的时候方便他们进行回溯分析定位。

（二）业务用户视角

业务用户通常希望看到数据从哪里来，经过了那些关键的处理环节，每个处理环节是谁来负责，他们通常不关心诸如 merge，join 等非常技术细节的操作。例如：

在这个典型的用户视角内，最左侧的数据原始发源地，以及爬虫，ftp这些关键节点事实上很难被 Apache Atlas 自动发现和管理，在 Apache Atlas 内这部元数据通常需要手工捕获。

根据 Apache Atlas 版本特性来看，1.0并不支持实体类型的图标定制化功能。2.1的版本支持实体类型图标定制化功能，哥尼斯堡七桥问题成功阐释了一幅图胜过千言万语，同时也诞生了一个全新的学科：图论，选择符合业务实际场景的实体图标类型，往往能减少很多不必要的解释说明。

注意：Apache Atlas 不是一个可以同时兼容两种血缘视角的软件。实际场景，手工捕获缺失的关键实体类别及实体信息，形成完整的数据血缘关系。

04 Apache Atlas 编译部署

Apache Atlas 提供了两种构建模式：

• 标准模式

标准模式通常用于部署在生产环境中。

mvn clean -DskipTests package -Pdist

*左滑查看更多

• 嵌入式模式

嵌入式构建模式提供了开箱即用的功能，通常用于 PoC 或者小规模场景。

• 预打包 Hbase 及 Solr

mvn clean -DskipTests package -Pdist,embedded-hbase-solr

*左滑查看更多

其中 Hbase 为 Atlas 图库提供存储，而 Solr 则负责为 Atlas 提供搜索。

• 预打包 Cassandra 及 Solr

mvn clean package -Pdist,embedded-cassandra-solr

*左滑查看更多

其中 Cassandra 为 Atlas 图库提供存储，而 Solr 则负责为 Atlas 提供搜索。

不论选择哪种构建模式，避免配置阿里的 Maven 镜像仓库，因为缺少部分依赖包而无法完成构建，在构建过程中，至少保证有20GB的可用空间，构建会在少于2小时内完成。

以嵌入式 embedded-hbase-solr 为例部署一个快速原型的环境。

#!/bin/bash
# This script was tested in EMR 6.3 environment.
# The "embedded Apache HBase & Apache Solr" was tested.

# Create apache directory
sudo mkdir /apache 
sudo chown hadoop.hadoop /apache

# Download JDK
cd /apache
wget https://corretto.aws/downloads/latest/amazon-corretto-11-x64-linux-jdk.tar.gz
tar xzf amazon-corretto-11-x64-linux-jdk.tar.gz

# Download Atlas-2.1.0
# ---------------start---------------
cd /apache
# Please upload your compiled distribution package into your bucket and grant read permission.
curl -O https://your-s3-bucketname.s3.amazonaws.com/apache-atlas-2.1.0-bin.tar.gz
tar xzf apache-atlas-2.1.0-bin.tar.gz
# Configuration
# atlas-env.sh 
# 20 export JAVA_HOME=/apache/amazon-corretto-11.0.12.7.1-linux-x64
sed -i "s%.*export JAVA_HOME.*%export JAVA_HOME=/apache/amazon-corretto-11.0.12.7.1-linux-x64%" /apache/apache-atlas-2.1.0/conf/atlas-env.sh 
sed -i "s%.*export JAVA_HOME.*%export JAVA_HOME=/apache/amazon-corretto-11.0.12.7.1-linux-x64%" /apache/apache-atlas-2.1.0/hbase/conf/hbase-env.sh 

# atlas-application.properties 
# 104 atlas.notification.embedded=false
# 106 atlas.kafka.zookeeper.connect=localhost:2181
# 107 atlas.kafka.bootstrap.servers=localhost:9092
sed -i "s/atlas.graph.index.search.solr.zookeeper-url.*/atlas.graph.index.search.solr.zookeeper-url=localhost:9983" /apache/apache-atlas-2.1.0/conf/atlas-application.properties 
sed -i "s/atlas.notification.embedded=.*/atlas.notification.embedded=false/" /apache/apache-atlas-2.1.0/conf/atlas-application.properties 
sed -i "s/atlas.kafka.zookeeper.connect=.*/atlas.kafka.zookeeper.connect=localhost:9983/" /apache/apache-atlas-2.1.0/conf/atlas-application.properties 
sed -i "s/atlas.kafka.bootstrap.servers=.*/atlas.kafka.bootstrap.servers=localhost:9092/" /apache/apache-atlas-2.1.0/conf/atlas-application.properties
sed -i "s/atlas.audit.hbase.zookeeper.quorum=.*/atlas.audit.hbase.zookeeper.quorum=localhost/" /apache/apache-atlas-2.1.0/conf/atlas-application.properties
# ---------------end---------------


# Solr start
# ---------------start---------------
# Export environment variable
export JAVA_HOME=/apache/amazon-corretto-11.0.12.7.1-linux-x64
export SOLR_BIN=/apache/apache-atlas-2.1.0/solr/bin
export SOLR_CONF=/apache/apache-atlas-2.1.0/conf/solr

# Startup solr
$SOLR_BIN/solr start -c 

# Initialize the index
$SOLR_BIN/solr create_collection -c vertex_index   -d $SOLR_CONF 
$SOLR_BIN/solr create_collection -c edge_index     -d $SOLR_CONF 
$SOLR_BIN/solr create_collection -c fulltext_index -d $SOLR_CONF 
# ---------------end---------------

# Config the hive hook
# ---------------start---------------
sudo sed -i "s#</configuration>#   <property>\n     <name>hive.exec.post.hooks</name>\n     <value>org.apache.atlas.hive.hook.HiveHook</value>\n   </property>\n\n</configuration>#" /etc/hive/conf/hive-site.xml
sudo cp /apache/apache-atlas-2.1.0/conf/atlas-application.properties /etc/hive/conf
sudo sed -i 's%export HIVE_AUX_JARS_PATH.*hcatalog%export HIVE_AUX_JARS_PATH=${HIVE_AUX_JARS_PATH}${HIVE_AUX_JARS_PATH:+:}/usr/lib/hive-hcatalog/share/hcatalog:/apache/apache-atlas-2.1.0/hook/hive%' /etc/hive/conf/hive-env.sh
sudo cp -r /apache/apache-atlas-2.1.0/hook/hive/* /usr/lib/hive/auxlib/
sudo systemctl stop hive-server2
sudo systemctl start hive-server2
# ---------------end---------------

# Start atlas
# ---------------start---------------
# Initialize will be completed in 15 mintues
export MANAGE_LOCAL_HBASE=true
export MANAGE_LOCAL_SOLR=true
python2 /apache/apache-atlas-2.1.0/bin/atlas_start.py
python2 /apache/apache-atlas-2.1.0/bin/atlas_stop.py
python2 /apache/apache-atlas-2.1.0/bin/atlas_start.py
# ---------------end---------------


# Download and startup kafka
# ---------------start---------------
cd /apache
curl -O https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
tar xzf kafka_2.13-2.8.0.tgz
sed -i "s/zookeeper.connect=.*/zookeeper.connect=localhost:9983/" /apache/kafka_2.13-2.8.0/config/server.properties
/apache/kafka_2.13-2.8.0/bin/kafka-server-start.sh -daemon /apache/kafka_2.13-2.8.0/config/server.properties
# ---------------end---------------

*左滑查看更多

Apache Atlas 虽然内嵌了 Hive/Hbase/Sqoop/Storm/Falcon/Kafka 的 hook ，但是除此之外的其他处理引擎的 plugin 极少，例如目前广泛使用的 Spark/Flink，如果使用这两个计算引擎处理数据，则需要进行定制开发才能捕获相关的数据血缘。

05 手工捕获数据

Apache Atlas 是一个典型的类型继承系统，在追加无法通过 Atlas hook 或者 plugin 自动捕获的数据时，必须先了解其类型系统，及血缘的形成原理。然后根据业务需要创建必要的子类型及其实体。

其中绿色标记的为 DataSet 静态子类型，红色标记的为 Process 子类型，Process 实体通过连接作为输入输出的DataSet子类型实体从而形成血缘关系。

06 Spark 与 Apache Atlas

捕获 Spark 数据血缘可以采用以下两大类的方式：

• Connector， 优点自动化数据捕获
• REST API，优点定制化程度高

（一） spark-atlas-connector

是 Hortonworks 开源的 Connector，最后一次代码更新是在2019年7月12日，从实际的代码编译结果来看，与 Spark 3.1.1存在兼容性问题。该项目默认的配置(pom.xml)：

• Spark 2.4.0
• Scala 2.11.12
• Atlas 2.0.0

如果是2.4.0本的 Spark 可以考虑采用该 connector。

对于该项目使用文档的一些补充，如果使用 rest api 方式进行数据的自动填充，请配置以下参数：

• rest.address
• client.username
• client.password

这些配置选项来源于 AtlasClientConf.scala 文件。

（二）spline

是目前活跃度较高的捕获 Spark 数据血缘的开源项目，但是它与 Atlas 兼容性不好，而是自成一体，但是该项目对于 Spark 的兼容性非常好。

本篇作者

杨帅军

资深数据架构师

专注于数据处理。目前主要为车企提供数据治理服务。