广告效果监测系统架构

image.png
说明:

1、tracking的数据来源,包括SDK数据、点击上报数据,SDK数据又分为SDK客户端上报和RestAPI上报。

2、RestAPI和SDK客户端上报的数据,都发到阿里云e302服务器。点击上报数据,优先会往阿里云的e302短链服务器发送,e302服务器检查接收到的点击的短链在缓存中不存在,会跳转到s302回源服务器,不管在e302还是s302,找到短链的点击都会跳转到对应的落地页。

3、RestAPI数据直接上报到logserver服务器。

4、SDK客户端和点击上报的数据在往logserver服务器发送过程会被NWS缓存服务器拦截,先缓存到本地,当nws打开开关时,数据nws往logserver发送;当nws关闭开关时,不发送。(nsw可以缓存100G的数据)

5、logserver接收到数据后,进行数据分发,数据会根据业务需求,发往kafka的不同topic。

6、实时计算的jstorm任务从kafka的topic中取出数据,进行归因处理,处理完成后,对于需要点击透传的点击事件以及归因后需要回调的激活/注册/付费事件,发送到kafka的回调topic。

7、实时计算处理完成后,统计数据会入库hbase,用于归因排重的信息会入库到redis。

8、stat_exporter服务会定时从hbase中导出统计数据并入库到tracking的mysql数据库。

9、logserver日志会定时上传到hdfs集群。

10、zakaban调度平台上配置的离线任务,会对logserver日志进行处理,分别计算设备留存、设备ltv、帐号留存、帐号ltv。

11、离线计算完成后入库到hive。

12、trackv2task服务定期从hive导出前一天的离线计算结果入库到tracking的mysql数据库。

13、callback回调服务会实时从kafka的回调topic中取到需要回调或点击透传的消息,进行激活/注册/付费回调或点击透传。

14、tracking的web后台从mysql及hbase中查询数据并展示,实时模块从hbase查。

15、tracking通过OpenAPI向外部(主要是adt)提供api接口查询数据。

16、adt的后端服务定时从tracking的数据库同步数据。

4 声望
0 粉丝
0 条评论
推荐阅读
大数据 + VR 全景技术重塑“二手车买车场景”
行内人都知道,二手车交易的核心问题在于车况信息不透明。中国二手车交易市场制度尚不完善,长期以来缺少行业公认的车辆估值标准和车况检测标准,二手车商提供的估值和车况信息不够透明。这导致用户和车商交易双...

之家技术13阅读 12k

封面图
15分钟入门23种设计模式:图解,范例和对比
本文力图在15分钟内,通过UML图解、范例和类比,让你对面向对象的23种设计模式形成提纲挈领的认识,从而让我们在面临代码设计问题时更加成竹在胸。本文源代码: UML, Sample Code。

风云信步5阅读 470评论 1

Flink Forward Asia 2022 主论坛概览
2022 年 11 月 26-27 日,Flink Forward Asia(FFA)峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会,是目前国内最大的 Apache 顶级项目会议之一,也是 Flink 开发者...

MissD阅读 6.1k

第十六届中国大数据技术大会五大分论坛顺利举办!
1 月 8 日下午,由苏州市人民政府指导、中国计算机学会主办、苏州市吴江区人民政府支持,CCF 大数据专家委员会、苏州市吴江区工信局、吴江区东太湖度假区管委会、苏州市吴江区科技局、苏州大学未来科学与工程学院...

MissD阅读 5.8k

Dubbo架构设计与源码解析(三)责任链模式
责任链(Chain of Responsibility)模式的定义:为了避免请求发送者与多个请求处理者耦合在一起,于是将所有请求的处理者通过前一对象记住其下一个对象的引用而连成一条链;当有请求发生时,可将请求沿着这条链传...

京东云开发者3阅读 578

封面图
企业流程数字化转型研讨会暨《流程优化风暴》新书发布会 即将召开
伴随数字经济的来临,数字化转型已成为社会经济发展的主旋律,国内众多企业将其作为战略核心并深入推进。在数字化转型工作逐渐进入细分领域的过程中,作为企业业务实施的基础支撑,企业业务流程已成为数字化转型...

MissD阅读 4.9k

配置 Hue 访问 AWS S3 中国区(qbit)
Hue: Hadoop User Experience环境 {代码...} qbit 参照这两篇 Hue 官方文档搞了很久都没配好:文档一,文档二文档编写者估计没考虑到独立运营的 AWS 中国区用户的痛搞明白了也简单,就是在官方文档的基础上还得配...

qbit2阅读 2.3k评论 1

4 声望
0 粉丝
宣传栏