Kafka实时数据即席查询应用与实践

2023-05-26
阅读 10 分钟
776
Kafka中的实时数据是以Topic的概念进行分类存储,而Topic的数据是有一定时效性的,比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时,如果没有对实时数据进行历史归档,在排查问题时,没有日志追述,会很难定位是哪个环节的问题。

TLS 加速技术:Intel QuickAssist Technology(QAT)解决方案

2023-05-22
阅读 7 分钟
990
当前 TLS 已经成为了互联网安全的主要传输协议,TLS带来更高的安全性的同时,也带来了更多的性能开销。特别是在建连握手阶段,TLS的CPU开销,相对于TCP要大很多。

深入浅出 OkHttp 源码解析及应用实践

2023-05-18
阅读 8 分钟
909
本文首先从源代码入手简要分析了一个请求发起过程中的核心代码,接着通过流程图和架构图概括地介绍了OkHttp的整体结构,重点分析了拦截器的责任链模式设计,最后列举了OkHttp拦截器在项目中的实际应用。

使用doop识别最近commons text漏洞的污点信息流

2023-05-16
阅读 9 分钟
704
本文基于笔者对doop静态程序分析框架源代码和规则学习,并结合对目前漏洞公开技术细节的学习,修改增强doop app only模式下的分析规则后,实现通过doop工具识别commons text rce漏洞(CVE-2022-42889)。内容包含三部分,第一部分简单介绍doop分析框架,第二部分简单介绍commons text漏洞的原理和代码调用栈,第三部分重...

一种KV存储的GC优化实践

2023-05-12
阅读 9 分钟
827
从内部需求出发,我们基于TiKV设计了一款兼容Redis的KV存储。基于TiKV的数据存储机制,对于窗口数据的处理以及过期数据的GC问题却成为一个难题。本文希望基于从KV存储的设计开始讲解,到GC设计的逐层优化的过程,从问题的存在到不同层面的分析,可以给读者在类似的优化实践中提供一种参考思路。

vivo积分任务体系的架构演进-平台产品系列05

2023-05-04
阅读 6 分钟
1.6k
积分体系作为一种常见营销工具,几乎是每一家企业会员营销的必备功能之一,在生活中随处可见,随着vivo互联网业务发展,vivo积分体系的能力也随之得到飞速提升,本篇主要介绍vivo积分任务体系的系统建设历程。

vivo 推送系统的容灾建设与实践

2023-04-27
阅读 5 分钟
848
vivo推送平台是vivo公司向开发者提供的消息推送服务,通过在云端与客户端之间建立一条稳定、可靠的长连接,为开发者提供向客户端应用实时推送消息的服务,支持百亿级的通知/消息推送,秒级触达移动用户。

Tars-Cpp 协程实现分析

2023-04-24
阅读 8 分钟
1k
Tars 是 Linux 基金会的开源项目([链接]),它是基于名字服务使用 Tars 协议的高性能 RPC 开发框架,配套一体化的运营管理平台,并通过伸缩调度,实现运维半托管服务。Tars 集可扩展协议编解码、高性能 RPC 通信框架、名字路由与发现、发布监控、日志统计、配置管理等于一体,通过它可以快速用微服务的方式构建自己的稳...

容易忽视的细节:Log4j 配置导致的零点接口严重超时

2023-04-21
阅读 9 分钟
1.2k
本文详细的记录了一次0点接口严重超时的问题排查经历。本文以作者自身视角极具代入感的描绘了从问题定位到具体的问题排查过程,并通过根因分析并最终解决问题。整个过程需要清晰的问题排查思路和丰富的问题处理经验,也离不开公司强大的调用链、和全方位的系统监控等基础设施。

明修"栈"道——越过Android启动栈陷阱

2023-04-18
阅读 15 分钟
1.2k
本文从一例业务中遇到的问题出发,以FLAG_ACTIVITY_NEW_TASK这一flag作为切入点,带大家探究Activity启动前的一项重要的工作——栈校验。

vivo全球商城:电商交易平台设计

2023-04-14
阅读 5 分钟
1.9k
vivo官方商城经过了七年的迭代,从单体架构逐步演进到微服务架构,我们的开发团队沉淀了许多宝贵的技术与经验,对电商领域业务也有相当深刻的理解。

MySQL主从复制原理剖析与应用实践

2023-04-11
阅读 12 分钟
1.3k
MySQL Replication(主从复制)是指数据变化可以从一个MySQL Server被复制到另一个或多个MySQL Server上,通过复制的功能,可以在单点服务的基础上扩充数据库的高可用性、可扩展性等。

月光宝盒(vivo流量录制回放平台)正式对外开源

2023-04-07
阅读 4 分钟
4.1k
月光宝盒是一个基于流量录制回放的自动化测试平台,通过录制回放取代编写脚本进行自动化回归,提升测试效率和覆盖率。因为其解决方案具有很强的通用性,所以我们把这它开源出来,希望能帮助到有需要的用户。

Hive 和 Spark 分区策略剖析

2023-04-03
阅读 11 分钟
1.3k
随着技术的不断的发展,大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark,它们在分区策略方面有着一些相似之处,但也存在一些不同之处。

vivo 手机云服务建设之路-平台产品系列04

2023-03-31
阅读 7 分钟
1.3k
手机云服务目前作为每家手机厂商必备的一项基础服务,其服务能力和服务质量对用户来说可以说是非常重要。用户将自己大量的信息数据存储在云端,那我们的云端服务如何保证服务的稳定和数据的安全,以及如何应对越来越多用户群体的使用?本文将主要介绍 vivo 手机云服务系统的建设历程。

Android系统服务DropBoxManagerService详解与实践应用

2023-03-27
阅读 8 分钟
931
借助系统DropBoxManagerService对于系统文件目录dropbox管理的设计,了解其文件管理的规则、运行机制、读写机制、管控机制,根据其设计一个客户端日志文件管理与上报功能

循序渐进讲解负载均衡vivoGateway(VGW)

2023-03-24
阅读 8 分钟
1.1k
在大规模业务场景中,已经不可能通过单机提供业务,这就衍生出了负载均衡的需求。为了满足合适可靠的负载,本文将从简单的基础需求出发,一步步推进并解释如何建立负载均衡平台。

Tars-Java网络编程源码分析

2023-03-20
阅读 13 分钟
966
Tars是腾讯开源的支持多语言的高性能RPC框架,起源于腾讯内部2008年至今一直使用的统一应用框架TAF(Total Application Framework),目前支持C++、Java、PHP、Nodejs、Go语言。

vivo 短视频用户访问体验优化实践

2023-03-17
阅读 9 分钟
1k
我们平时在看抖音快手视频的时候,如果滑动到某个视频画面一直几s不动的时候,大概率就会划走了,所以在短视频项目中,画面卡顿是非常影响用户体验的,启播速度越快,就越能留住用户。

非侵入式入侵 —— Web缓存污染与请求走私

2023-03-14
阅读 5 分钟
1.2k
本文介绍了两种攻击者无需直接接触服务端即可攻击和影响用户行为的安全漏洞 —— Web缓存污染与请求走私。Web缓存污染旨在通过攻击者向缓存服务器投递恶意缓存内容,使得用户返回响应结果而触发安全风险。HTTP请求走私旨在基于前置服务器(CDN、反向代理等)与后置服务器对用户请求体的长度判断标准不一致的特性,构造能够...

vivo全球商城:库存系统架构设计与实践

2023-03-10
阅读 6 分钟
1.3k
vivo商城原库存系统耦合在商品系统,考虑到相关业务逻辑复杂度越来越高,库存做了服务拆分,在可售库存管理的基础上新增了实物库存管理、秒杀库存、物流时效 、发货限制、分仓管理等功能,满足了商城库存相关业务需求。

解密游戏推荐系统的建设之路

2023-02-27
阅读 8 分钟
1k
本文从零开始介绍了游戏推荐项目的发展历程,阐述了大型项目建设中遇到的业务与架构问题以及开发工程师们的解决方案,描绘了游戏推荐项目的特点以及业务发展方向,有着较好的参考与借鉴意义。

OKR之剑·总结篇01:如何开好一场OKR复盘会

2023-02-22
阅读 11 分钟
1.1k
OKR复盘是OKR生命周期中的重要环节,起着承上启下的重要作用。本篇将和你一起探讨什么是OKR复盘、为什么要进行OKR复盘,接着向你展示团队在OKR复盘方面的实践和改进。最后我们提炼出开好OKR复盘会的一些关键点,供您参考。

广告流量反作弊风控中的模型应用

2023-02-21
阅读 5 分钟
1.3k
商业化广告流量变现,媒体侧和广告主侧的作弊现象严重,损害各方的利益,基于策略和算法模型的业务风控,有效保证各方的利益;算法模型可有效识别策略无法实现的复杂作弊模型,本文首先对广告反作弊进行简介,其次介绍风控系统中常用算法模型,以及实战过程中具体风控算法模型的应用案例。

vivo版本发布平台:带宽智能调控优化实践-平台产品系列03

2023-02-20
阅读 10 分钟
1.1k
随着分发规模地逐步增长,各企业对CDN带宽的使用越来越多。并且,各类业务使用CDN的场景各式各样,导致带宽会不断地出现骤增骤降等问题。基于成本考虑,国内CDN厂商的计费模式主要用峰值点的带宽来计费,就算不用峰值点的带宽,也会因为峰值问题所产生的成本而抬高带宽单价。基于此,控制CDN带宽的峰谷具有重要意义,降...

OKR之剑·实战篇06:OKR致胜法宝-氛围&业绩双轮驱动(下)

2023-02-15
阅读 14 分钟
1.3k
先说说氛围。组织氛围的提出者库尔特·勒温被尊为“社会心理学之父”,他的核心理论非常通俗易懂,决定人类行为的,不是个人,不是环境,而 是二者的函数,勒温借用数学形式表达他的组织氛围概念。可以理解为,组织氛围就是一种“社会相互作用背景”,用勒温的解释即为“场”:就像电磁力场,不管主观上是否愿意或者认识到,处...

vivo官网App模块化开发方案-ModularDevTool

2023-02-14
阅读 7 分钟
1.4k
现在客户端的业务越来越多,大部分客户端工程都采用模块化的开发模式,也就是根据业务分成多个模块进行开发,提高团队效率。例如我们vivo官网现在的整体架构如下图,分为13个模块,每个模块是一个独立代码仓。

vivo 自研Jenkins资源调度系统设计与实践

2023-02-13
阅读 5 分钟
948
本文从目前业界实现Jenkins的高可用的实现方案,分析各方案的优缺点,引入vivo目前使用的Jenkins高可用方案,以及目前Jenkins资源的调度方案的设计实践和目前的落地运行效果。

100 行 shell 写个 Docker

2023-02-09
阅读 24 分钟
1.4k
在初接触Docker的时候,我们必须要了解的几个概念就是Cgroup、Namespace、RootFs,如果本身对虚拟化的发展没有深入的了解,那么很难对这几个概念有深入的理解,本文的目的就是通过在操作系统中以交互式的方式去理解,Cgroup/Namespace/Rootfs到底实现了什么,能做到哪些事情,然后通过shell这种直观的命令行方式把我们的...

OKR之剑·实战篇05:OKR致胜法宝-氛围&业绩双轮驱动(上)

2023-02-08
阅读 8 分钟
1.1k
我们的OKR执行如此顺利,离不开我们的“双轮驱动”。类似于亚马逊的“飞轮效应”,我们以氛围和业绩双轮来保障团队稳步发展。其中,氛围轮保证产出质量、数量,调动大家的积极性,驱动人,输出价值;业绩轮则保证业务持续、长久,做大蛋糕,拓展边界、防止内卷,驱动事,良性发展。本文,我们以氛围业绩双轮驱动为起点,带领...