OPPO云数据库访问服务技术揭秘

2022-04-06
阅读 8 分钟
1.4k
MySQL是OPPO使用最广泛的关系数据库,不同编程语言的微服务都是通过MySQL官方的SDK直连真实的数据库实例。这种最传统的使用方式,会给业务开发和数据库运维带来一系列影响效率和稳定性的问题。

全链路异步Rest客户端 ESA RestClient

2022-03-21
阅读 19 分钟
1.8k
ESA Stack(Elastic Service Architecture) 是OPPO云计算中心孵化的技术品牌,致力于微服务相关技术栈,帮助用户快速构建高性能,高可用的云原生微服务。产品包含高性能Web服务框架、RPC框架、服务治理框架、注册中心、配置中心、调用链追踪系统,Service Mesh、Serverless等各类产品及研究方向。

MySQL 分布式事务的“路”与“坑”

2022-03-17
阅读 8 分钟
2.4k
C:Consistent,一致性,事务完成后,所有数据的状态都是一致的。如事务内A给B转100,只要A减去了100,B账户则必定加上了100;

PendingIntent重定向:一种针对安卓系统和流行App的通用提权方法——BlackHat EU 2021议题详解 (下)

2022-03-15
阅读 9 分钟
5.6k
以用户隐私安全为中心,用责任兑付信任,OPPO成立子午互联网安全实验室(ZIWU Cyber Security Lab)。实验室以“保护用户的安全与隐私,为品牌注入安全基因”为使命,持续关注并发力于业务安全、红蓝对抗、IoT安全、Android安全、数据和隐私保护等领域。

PendingIntent重定向:一种针对安卓系统和流行App的通用提权方法——BlackHat EU 2021议题详解(上)

2022-03-11
阅读 6 分钟
3.7k
安卓系统中,Intent是在组件间传递的通信消息,用于执行打开Activity、发送广播、启动服务等动作,而Intent对象内部的字段则规定了Intent发送的目的组件,以及执行动作的具体内容,包括action、category、data、clipdata、package、flag、extra、component和selector。

AI算力加速之道

2022-03-02
阅读 10 分钟
4.3k
人工智能发展至今并非一帆风顺, 从起步阶段到现今的深度学习阶段,数据、算法和算力构成了人工智能三大基本要素,共同推动人工智能向更高层次的感知、认知发展。

ORTC与SIP融合通信服务架构

2022-01-11
阅读 5 分钟
2.8k
OPPO实时音视频(OPPO Real-Time Communication ORTC),是我们推出一套低延时、高品质、跨平台的音视频互通解决方案,通过OPPO云服务器向开发者开放,提供多人音视频通话、实时监控、应急指挥调度、互通直播、IOT万物互融、云游戏等能力输出。以往的音视频通信技术大多是基于SIP/H323的实现方案,本文提供一种融合方案,...

QCon-OPPO大规模CV预训模型技术及实践

2022-01-07
阅读 8 分钟
2k
预训练模型是提升深度学习算法性能的一种常用手段。所谓预训练模型,可以概括为是某种深度学习的网络架构,并且包含这个网络架构在海量数据上训练好的一组权重。有了网络架构和权重后,我们就可以用它作为某一具体视觉任务的主干网络,并提供初始化参数。这样一来,具体的下游任务就有了一个较好的训练起点,在减少探索...

大数据SQL优化之数据倾斜解决案例全集

2022-01-05
阅读 8 分钟
2.2k
数据倾斜即指在大数据计算任务中某个处理任务的进程(通常是一个JVM进程)被分配到的任务量过多,导致任务运行时间超长甚至最终失败,进而导致整个大任务超长时间运行或者失败。外部表现的话,在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变化;在SparkSQL里则是某个stage里,正在运行的任务数量长时...

QCon-oCPX多目标多场景联合建模在OPPO的实践

2021-12-30
阅读 4 分钟
2.4k
自从 2012 年 Facebook 产品化 oCPX 以来,业内 oCPX 产品和能力的发展已经非常的成熟。OPPO 数智工程系统算法平台部商业化算法也在 oCPX 能力建设上积累了一些实践经验。

QCon-小布助手对话系统工程实践

2021-12-29
阅读 8 分钟
1.7k
1 智能助手和对话系统的价值智能助理是蓬勃发展的行业,用户诉求非常强烈,目前远没有达到可以满足用户的程度。第一层面的用户对于效率要求非常高,一句话搞定的事情不会说两句话。第二层面的用户需要非常贴心的、智慧懂我的、类似于个人助理一样的角色。第三层面的用户,智能助理作为倾诉的出口,满足人类情感需求。在...

OPPO小布助手算法系统探索、实践与思考

2021-12-28
阅读 9 分钟
2.6k
对话交互是继传统PC、PC互联网及移动互联网之后,下一个时代非常有想象力的关键技术方向,无论是学术界还是工业界都有极高的关注度,同时作为OPPO万物互融战略的关键节点之一,承载着伟大而艰巨的使命。

OPPO大数据计算集群资源调度架构演进

2021-12-24
阅读 5 分钟
1.6k
随着公司这两年业务的迅速扩增,业务数据量和数据处理需求也是呈几何式增长,这对底层的存储和计算等基础设施建设提出了较高的要求。本文围绕计算集群资源使用和资源调度展开,将带大家了解集群资源调度的整体过程、面临的问题,以及我们在底层所做的一系列开发优化工作。

OPPO大数据离线任务调度系统OFLOW

2021-12-23
阅读 8 分钟
2.9k
在整个大数据体系中,在原始数据被采集之后,需要使用各种逻辑进行整合和计算之后才能输出实际有效的数据,才能最终用于商业目的,实现大数据的价值。在整个处理流程中,无论是抽取、转换、装载(ETL)的这些过程,还是数据用户分析处理过程,都是需要包含众多的处理任务,而且这些任务都不是孤立的,而是存在相互依赖和...

由IDC余热回收创新技术实践引出的跨界合作探讨

2021-12-21
阅读 4 分钟
2.4k
2020年国家正式宣布了双碳战略目标:“力争2030年前二氧化碳排放达到峰值,努力争取2060年前实现碳中和。” 数据中心作为耗电大户,其耗电量已经超过全国总耗电量的2%,预计2025年总耗电占比将达到4.05%。但随着信息技术的发展,社会对于算力的要求越来越高,IT设施的单位电力所能提供的算力极限也逐渐逼近,这就意味着想...

OPPO大数据离线计算平台架构演进

2021-12-17
阅读 8 分钟
2.2k
OPPO的大数据离线计算发展,经历了哪些阶段?在生产中遇到哪些经典的大数据问题?我们是怎么解决的,从中有哪些架构上的升级演进?未来的OPPO离线平台有哪些方向规划?今天会给大家一一揭秘。

Flink Sql Gateway的原理与实践

2021-12-16
阅读 4 分钟
3k
我们在使用Flink开发实时任务时,都会用到框架本身提供的DataStream API,这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑;这种方式虽然灵活且表达性强,但对用户具有一定的开发门槛,并且随着版本的不断更新,DataStream API也有很多老版本不兼容的问题。所以Flink SQL就成了广大开发用户的最佳选择,之所以...

OPPO云VPC网络实践

2021-12-14
阅读 3 分钟
1.8k
随着OPPO业务的快速发展,OPPO云规模增长迅速。大规模虚拟实例的弹性伸缩、低延时需求对网络提出了诸多挑战。原有基于VLAN搭建的私有网络无法解决这些问题,给网络运维和业务的快速上线带来了挑战。

实体链接在小布助手和OGraph的实践应用

2021-12-13
阅读 7 分钟
3.3k
精准直达的知识问答能力对营造小布“懂知识、更懂你”的形象非常重要。在语音助手场景,经常会出现一词多义或者口语化表达等问题。例如:李白出装,李白的诗,播放李白。第一李白是指游戏角色,第二个是指诗人李白,第三个是指歌曲李白。如何精确识别用户所指、给出正确的答案是小布助手面临的挑战。

QCon-OPPO数据平台Cloud Lake 降本增效实践

2021-12-07
阅读 5 分钟
1.8k
OPPO从19年开始,用了两年时间,以K8S,容器化为核心,完成了公司混合云建设,并实现100%在线业务上云。OPPO的业务,目前覆盖国内,南亚,欧洲,美洲,在国内我们有自己的机房,在海外,更多是和公有云合作,有AWS,Google。OPPO的云是朵云上云,与共有云的合作,更多只是采购机器资源,部署我们自己的服务。OPPO云给我...

图数据库平台建设及业务落地

2021-11-19
阅读 6 分钟
2.5k
图数据库(Graph database)是以图这种数据结构存储和查询的数据库。与其他数据库不同,关系在图数据库中占首要地位。这意味着应用程序不必使用外键或带外处理(如 MapReduce)来推断数据连接。与关系数据库或其他 NoSQL 数据库相比,图数据库的数据模型也更加简单,更具表现力。

我就获取个时间,机器就down了

2021-11-18
阅读 8 分钟
1.1k
linux 时间管理,包含clocksource,clockevent,timer,tick,timekeeper等等概念 ,这些概念有机地组成了完整的时间代码体系。当然,是代码就会有bug,本文通过一个bug入手,在实战中加深对理论的认识。获取时间,但是crash了。

潜藏在手机中的新威胁:免安装应用安全指北

2021-11-16
阅读 5 分钟
2.1k
随着5G时代来临,互联网信息爆炸式增长,移动应用逐渐变得体积庞大且功能复杂。一方面普通消费者会越来越少地去下载客户端,绝大多数需求需要以更轻量化的方式得到满足,另一方面,每一个超级APP或手机厂商都想生态化的汇聚更多内容。由此,“快应用”一类的免安装应用应运而生。

虚拟机与容器的混合管理实践

2021-11-08
阅读 7 分钟
3.3k
当前容器已经成为企业上云的主流选择,经过2019年下半年的深度研发和推广,2020年OPPO基本实现了基于kubernetes的容器的大规模使用和全业务上云。容器的优势是敏捷和高性能,然而由于需要共享宿主机内核,隔离不彻底等原因,当用户需要修改很多定制的内核参数或者在低版本的 Linux 宿主机上运行高版本的 Linux 容器,或...

Elastic-Job的执行原理及优化实践

2021-11-03
阅读 11 分钟
3.9k
Quartz是由OpenSymphony提供的强大的开源任务调度框架,用来执行定时任务。比如每天凌晨三点钟需要从数据库导出数据,这时候就需要一个任务调度框架,帮我们自动去执行这些程序。那Quartz是怎样实现的呢?

智能语音技术:从哪儿来?往何处去?

2021-08-24
阅读 4 分钟
2.5k
近几年,语音识别技术逐渐走向成熟,越来越多的互联网公司及硬件厂商在布局智能语音的商业版图。万物互联的浪潮势不可挡,智能语音技术在汽车、智能家居、教育等各个领域全面开花。

OPPO数据湖统一存储技术实践

2021-08-17
阅读 5 分钟
4.1k
OPPO是一家智能终端制造公司,有着数亿的终端用户,每天产生了大量文本、图片、音视频等非结构化数据。在保障数据连通性、实时性以及数据安全治理要求的前提下,如何低成本、高效率地充分挖掘数据价值,成为了拥有海量数据的公司的一大难题。目前业界的流行解决方案是数据湖,本文介绍的OPPO自研的数据湖存储CBFS在很大...

中间件运维之故障自愈

2021-08-10
阅读 4 分钟
2.5k
1. 背景1.目前中间件容器节点故障、机器资源不足(磁盘大小、内存大小、cpu)等问题时有发生,接入自动化运维后可快速的处理集群异常问题。2.以前处理问题需要人工介入,人力成本较大,运维流程缺乏规范。2. 目标1. 标准化,规范运维流程,制定标准的运维流程。2. 可视化,运维流程可视化、平台化,做到可追踪,可回溯。3....

深度学习中的分布式训练

2021-08-03
阅读 5 分钟
3.2k
随着人工智能与深度学习的发展,大规模和超大规模的模型越来越受到业界的推崇。以NLP行业为例,从最开始的Bert-base只有1亿左右的参数量,到千亿级别的GPT-3,再到今年6月发布的目前全球最大预训练模型“悟道2.0”,参数规模达到惊人的1.75万亿,整个业界都由一种向更大模型发展的趋势。面对如此庞大的模型,必然也需要庞...

一例智能网卡(mellanox)的网卡故障分析

2021-07-27
阅读 21 分钟
2.7k
背景:这个是在centos 7.6.1810的环境上复现的,智能网卡是目前很多云服务器上的网卡标配,在OPPO主要用于vpc等场景,智能网卡的代码随着功能的增强导致复杂度一直在上升,驱动的bug一直是内核bug中的大头,在遇到类似问题时,内核开发者由于对驱动代码不熟悉,排查会比较费劲,本身涉及的背景知识有:dma_pool,dma_page,...