关联比赛: 第二届 Apache Flink极客挑战赛
赛题介绍
一、病例行动数据集
- 病例历史行动数据集(训练集1) 1M+
- 确诊病例数据 (测试集1) 500+
- 实时病例行动数据集(测试集2) 1000+
二、天猫精灵行为数据集
- 天猫精灵历史行为数据集(训练集2) 1M+
- 用户行为数据集(测试集3) 500+
- 实时用户行为数据集(测试集4) 1000+
- 四个任务
- 根据测试集1每条数据的特征向量,在训练集1中找出该病例(人)对应的所有记录。
- 对测试集2的每条数据,根据其特征向量进行实时分类(人)。
- 根据测试集3每条数据的特征向量,在训练集2中找出该用户行为(领域+意图)对应的所有记录。
- 对测试集4的每条数据,根据其特征向量进行实时分类(领域+意图)。
- 性能要求
- Job总运行时间不能超过3小时。
- 对每条实时数据完成实时分类的响应时间不能超过500ms。
- 平台和组件
- Flink,PyFlink,Flink ai\_flow,达摩院 Proxima,Intel Zoo cluster serving
解决方案 - Workflow
解决方案 - Workflow config file
本方案中,代码框架设定了一个目标:对于新增的相似应用的数据集,不修改python代码,只需新增一个workflow config file(yaml文件),根据新数据集的基本属性以及数据结构的特性设置相应的配置即可。/code/package/wf\_config\_1.yaml --病例行动数据集对应的配置文件
WORKFLOW_NO: 1
KAFKA_SOLUTION_NO: 2 #1: Use TABLE API for kafka. 2: Use Kafka API
CLUSTER_SERVING_PARALLELISM: 16
PREDICT_WITH_TRAIN_PARALLELISM: 50
INPUT_DIM: 512
ENCODING_DIM: 128
LEARNING_RATE: 0.001
EPOCHS: 1
#MODEL_TYPE: SIMPLE_AUTOENCODER, DEEP_AUTOENCODER
MODEL_TYPE: SIMPLE_AUTOENCODER
MODEL_NAME: camera_auto_encoder
data_set_dir: /tcdata/
output_dir: /opt/result/
train_data_file: train_data.csv
feature_column_no: 3
train_predict_result_dir: camera_predict_result
…
…
create_training_table_sql: create table training_table(
uuid varchar,
face_id varchar,
device_id varchar,
feature_data varchar
) with (
'connector.type' = 'filesystem',
'format.type' = 'csv',
'connector.path' = '{}',
'format.ignore-first-line' = 'false',
'format.field-delimiter' = ';'
)
create_merge_table_sql: create table merge_table(
uuid varchar,
…
/code/package/wf\_config\_2.yaml --天猫精灵行为数据集对应的配置文件
WORKFLOW_NO: 2
KAFKA_SOLUTION_NO: 2 #1: Use TABLE API for kafka. 2: Use Kafka API
CLUSTER_SERVING_PARALLELISM: 16
PREDICT_WITH_TRAIN_PARALLELISM: 64
INPUT_DIM: 700
ENCODING_DIM: 128
LEARNING_RATE: 0.001
EPOCHS: 1
#MODEL_TYPE: SIMPLE_AUTOENCODER, DEEP_AUTOENCODER
MODEL_TYPE: SIMPLE_AUTOENCODER
MODEL_NAME: genie_auto_encoder
data_set_dir: /tcdata/
output_dir: /opt/result/
train_data_file: genie_data.csv
feature_column_no: 2
train_predict_result_dir: genie_predict_result
…
…
create_training_table_sql: create table training_table(
uuid varchar,
action_id varchar,
feature_data varchar
) with (
'connector.type' = 'filesystem',
'format.type' = 'csv',
'connector.path' = '{}',
'format.ignore-first-line' = 'false',
'format.field-delimiter' = ';'
)
create_merge_table_sql: create table merge_table(
uuid varchar,
…
解决方案 - Data pre-processing
- 病例行动数据集
不含异常数据,且特征向量已经L2 Normalization,不需要特别的预处理。
- 天猫精灵行为数据集
存在一些异常数据,需要做以下预处理:
- 移除某些特征向量数据末尾多出的空格(注:如果不做相应处理,score3通常得0分)
- Re-generate UUID for duplicated UUID
- Processing zero vector
- Processing duplicated vector
- L2 Normalization
解决方案 - Model training
- Model
- Simple AutoEncoder (实测效果好,稳定,性能好,采用)
- Deep AutoEncoder(实测效果好,性能一般,最终未采用)
- VAE (Variational AutoEncoder) (实测效果相对较差,未采用)
- PCA (Principal Component Analysis) (实测效果相对较差,未采用)
- NMF (Non-negative matrix factorization) (实测效果相对较差,未采用)
- 模型关键参数
- 损失函数:MSE
- 激活函数:linear
- 降维的维度选择
- 病例行动数据集:512=>128
- 天猫精灵行为数据集:700=>128
解决方案 - Inference
- Intel Zoo Cluster Serving
- 支持Tensorflow Saved Model 以及PyTorch Model for Inference
- 支持并发Inference(本赛题设置为16个并发),在多并发下运行稳定
- 模型针对CPU做了优化,无需GPU环境
- 自动生成配置,方便部署
- 响应时间短。平均每个请求响应时间实测小于35ms,充分满足本方案中的性能需求。
向量索引和向量检索
- 阿里达摩院proxima
- 使用Proxima HnswBuilder 创建索引,使用HnswSearch search vector
- 支持海量数据向量检索
- 召回率高,Top100 召回率超过98.5%
- 检索性能高,在本赛题中,平均每个请求(TopK=1024)的响应时间小于3ms,完全满足TopK筛选+再聚类这样类型的应用需求,对于实时的向量检索也毫无压力。
解决方案 - 聚类算法
- 针对历史行动数据的聚类
- 根据指定要search的vector,Topk=1024,通过Proxima search 出1024个UUIDs只是作为初步筛选的UUIDs。再使用Pandas查出它们对应的vectors,然后将这些vectors和指定search的那个vector合并为1025个vectors。
- 使用聚类算法Chinese\_Whispers,对上述1025个vectors进行聚类分组后,取出和指定vector属于相同组的所有vectors所对应的UUIDs输出。Chinese\_Whispers算法对于病例行动数据集效果最好。
- 另外尝试了K-Means,发现基本不可行。尝试了DBSCAN聚类算法,可行,但效果不如Chinese Whispers。
- 针对天猫精灵的数据集,还尝试了一种简单算法:Topk=128,从search出的128个UUIDs中根据result.score(),设置一个阈值,将result.score()<阈值的UUIDs全部输出。该实际评分效果要略微优于Chinese\_Whispers。
- 其它一些常见的聚类算法以及较新的GCN(Graph Convolutional Network),因时间关系,计划赛后继续尝试。
- 针对实时行动数据的实时分类
- 根据指定的vector,search Top1 UUID。
- 直接使用Top1 UUID 作为分类label输出。(注:用此分类方法+合适的模型+online data处理不超时,score2可得满分500分)
聚类算法 - Chinese\_Whispers
- 算法流程
- 1 初始化:将所有的样本点初始化为不同的类。
- 2 建图:构建无向图,以每个节点为一个类别,不同节点之间计算相似度,当相似度超过threshold,将两个节点相连形成关联边,边的权重为相似度。
- 3 迭代:
- 3.1 随机选取一个节点i开始,在其相连节点中选取边权重最大者j,并将i归为节点j类(若相连节点中有多个节点属于同一类,则将这些权重相加再做比较)
- 3.2 遍历所有节点后,重复迭代至满足迭代次数。
解决方案 – 解决Online Data (Kafka) 超时的问题
方法一、使用ai\_flow 内建的算子
- 1 使用ai\_flow.read\_example、ai\_flow.predict、ai\_flow.transform和ai\_flow.write\_example
- 2 在其中的SourceExecutor/SinkExecutor实现类中使用PyFlink TABLE API(For Kafka) 读/写Kafka Topic
- 3 为相应Flink job的StreamExecutionEnvironment设置参数:stream\_env.enable\_checkpointing(250)
- 该参数默认为3000ms,3000ms会导致每3秒才集中从Kafka Topic中读出6条数据。所以,如果不设置这个参数,必定会导致每6条数据中平均有5条会超时500ms,使得实时数据(score2和score4)得分很难超过100分(满分500分),因此必须改变这个参数设置。针对本赛题,可以设置为250ms。
- 方法一在产线上应用没什么问题,但是在本比赛中它有一个小问题,那就是初始会有8秒延迟,这个延迟会使得赛题程序开始发送的约16条数据被TABLE API(For Kafka)读到时都会超时500ms,从而对最终评分有所影响(实测大概影响6分左右)。
- 使用方法一可确保只会有少量的初始数据(实测16条左右)产生超时。
方法二、使用ai\_flow的用户自定义算子
- 1 ai\_flow支持更为灵活的用户自定义算子af.user\_define\_operation
- 2 在用户自定义算子的Executor实现类中,直接使用Kafka Consumer/Producer 读写Kafka Topic
- 3 直接通过 Kafka consumer从Kafka Topic读取数据,然后call Inference API (by Zoo cluster serving) 降维,然后使用Proxima search API search Top1 UUID,然后得出分类label,最后直接通过Kafka Producer 将结果数据写入Kafka Topic。
- 使用方法二可避免初始16条数据的超时问题,设置好关键参数 (如fetch\_max\_wait\_ms=200),可确保所有数据都不会超时。
总结和感想
本次比赛是算法+工程化问题。既要设计好算法,又要考虑实际工程需要。
模型算法:如果数据集的特征向量已经经过很好的处理,那么降维模型的模型可选择MSE loss损失小且Inference性能高的模型即可。而聚类算法要根据数据集特征向量的特性选择合适的算法。向量检索:对于海量数据,必须使用专门的向量检索组件。阿里proxima提供了高召回率且极短的响应时间。并行Inference:如果服务器只有CPU环境,那么使用Intel Zoo Cluster Serving 为Inference提供并行服务目前是非常好的选择。
实时数据处理:充分利用Zoo Cluster Serving、Proxima 的性能优势以及ai\_flow user defined operation 的灵活优势,将实时数据处理效果最佳化。
代码框架:针对相似应用的新数据集,只需给出相应的新配置文件即可,无需改动python code。
工程考虑:代码不仅考虑比赛得分效果,同时也考虑了通过配置的方式在不同应用场景下使用不同的实现。生产价值:一些基于向量检索的应用具有相似性,在这样的思路和不断改进下,它们应该可以泛化成通用的应用架构和代码框架,最终或许也可以实现为某一类软件产品或平台。另外,Zoo Cluster Serving 以及Proxima 在无昂贵GPU仅有CPU的环境下,提供了高并发及高性能的特性。因此,充分使用了Zoo Cluster Serving 以及Proxima的解决方案在一些实际生产系统的最终方案选择中,将具备很强的竞争力。
查看更多内容,欢迎访问天池技术圈官方地址:第二届Apache Flink极客挑战赛冠军比赛攻略\_SkyPeaceLL队\_天池技术圈-阿里云天池
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。