一例centos7.6内核BUGON的解析

2020-04-01
阅读 12 分钟
3k
本文以一个在centos7.6内核发生的BUGON,描述一下常见BUGON导致panic的解bug流程。目前这个bug在centos7.6最新版本未合入,需要升级到centos7.7的3.10.0-1062.13.1.el7以上版本才能解决。

​OkHttp源码深度解析

2020-03-25
阅读 13 分钟
2.4k
OkHttp应该是目前Android平台上使用最为广泛的开源网络库了,Android 在6.0之后也将内部的HttpUrlConnection的默认实现替换成了OkHttp。

如何进行kubernetes问题的排障

2020-03-20
阅读 6 分钟
1.7k
k8s的成熟度很高,伴随着整个项目的扩增,以及新功能和新流程的不断引入,也伴随这产生了一些问题。虽然自动化测试可以排除掉大部分,但是一些复杂流程以及极端情况却很难做到bug的完全覆盖。因此在实际的工作过程中,需要对运行的集群进行故障定位和解决。

一例centos7.6内核hardlock的解析

2020-03-16
阅读 10 分钟
1.7k
本文以一个在centos7.6内核发生的crash,目前在红帽系列的内核还未见合入,如果线上遇到了可以参考本案例进行规避,同时也描述一下常见hardlock导致panic的解bug流程。

OPPO基于Apache Flink的实时数仓实践

2020-03-10
阅读 8 分钟
4.2k
本文来自 OPPO 大数据平台研发负责人张俊在 Flink Forward Asia上的分享。OPPO 基于 Apache Flink 构建实时数仓,在数据规模上单日总数据处理量超 10 万亿,峰值大概超过每秒 3 亿。本文内容分为以下四个方面:

OPPO自研代码审查系统火眼Code Review实践

2020-03-04
阅读 4 分钟
2.8k
随着OPPO互联网业务快速增长,团队规模的不断扩大,对代码质量的要求也在不断地提高,而现有的代码审查工具GitLab和Gerrit已经无法满足我们的评审需求,主要凸显以下几个问题:

剖析Spark数据分区之Spark streaming & TiSpark

2020-03-02
阅读 4 分钟
2.7k
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第三篇,本篇我们将分析Spark streaming,TiSpark中的数据分区。

客户端IPV6迁移适配——连接竞速算法Happy Eyeballs探索实践(一)

2020-02-26
阅读 7 分钟
3.6k
IPv6推广已久,基础体系建设也日趋完善。加之工信部的响应号召,我们做应用体系的v6地址迁移适配势在必行。但整个迁移过程也不是一蹴而就,期间也面临着不少疑难问题亟待解决。

互联网广告拍卖的数学描述及最优拍卖机制设计

2020-02-24
阅读 11 分钟
4.1k
就互联网广告来说,从本质上讲也是一种特殊资源(流量)的拍卖形式,对拍卖理论的理解将有助于设计和修正实践中的广告竞价机制,获得更为长远的收益。本文将从单物品拍卖视角,从数学角度对拍卖理论进行相关介绍,并给出最优拍卖机制的设计。

OPPO自研ESA DataFlow架构与实践

2020-02-18
阅读 5 分钟
7.2k
OPPO互联网业务每天产生海量的数据,如调用链跟踪系统ESA Trace,每日采样的请求数据超过千亿级别,我们需要对这些数据进行归类,聚合、过滤和存储,同时我们需要对采集到的数据进行多通道并行处理,比如并行进行关键指标告警和写入存储集群。而数据采集系统的性能、通道隔离性、吞吐量等因素对于我们来说是一个挑战。在...

JavaScript 异步编程之路

2020-02-12
阅读 9 分钟
1.3k
我们知道,JavaScript 语言的一大特点是单线程,这是由它最初的应用场景决定的。它最初作为浏览器的脚本语言,用来与用户进行交互,并且可以用来操作 DOM。如果它是多线程的,可能会带来复杂的冲突,因此 JavaScript 最初被设计时即为单线程的。

图像修复技术简介

2020-02-11
阅读 5 分钟
8.5k
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。 图像修复又称为图像补绘&图像填充,指的是——重建图像中丢失或损坏部分的过程,是介于图像编辑和图像生成之间的一种技术。 图像补绘:Image Inpainting 图像填充:Region Filling 具体来说:...

OPPO异地多活实践——缓存篇

2020-01-22
阅读 7 分钟
2.5k
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。 1. 前言 互联网后台服务的常用经典架构中,整个后台服务框架一般可以分四层: 接入层,一般用于请求的安全校验、频率和流量控制 逻辑层,用于用户数据的请求和返回逻辑控制 缓存层,为了加快访问...

深入剖析Kafka

2020-01-17
阅读 22 分钟
3.9k
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注OPPO互联网技术团队的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。

G1GC 概念与性能调优

2020-01-15
阅读 5 分钟
2.4k
G1 is a generational, incremental, parallel, mostly concurrent, stop-the-world, and evacuating garbage collector which monitors pause-time goals in each of the stop-the-world pauses. Similar to other collectors, G1 splits the heap into (virtual) young and old generations. Space-reclamation effort...

数据不平衡与SMOTE算法

2020-01-10
阅读 28 分钟
13.7k
为了解决数据的非平衡问题,2002年Chawla提出了SMOTE算法,并受到学术界和工业界的一致认同。本文将对Smote算法,Smote算法的几个变形,以及一个smote算法的主流开源实现的源码进行分析。

大数据存储格式的进化之旅

2020-01-09
阅读 3 分钟
1.6k
“数据量大什么的怕你呀,数据格式什么的, 赶紧放进来就是了;别管了,就就就那个csv吧,快糙猛搞起来呀,大不了读的时候再解析校验啥的,读时校验(schema on read)有木有”

OPPO百万级高并发MongoDB集群性能数十倍提升优化实践(下)

2020-01-08
阅读 7 分钟
3.3k
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注OPPO互联网技术团队的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。

浅谈广告系统预算控制(Budget Pacing)

2020-01-06
阅读 4 分钟
5.3k
在实际广告投放过程中,我们常常会碰到一个问题:媒体流量比较大,广告主预算消耗过快,有些中小广告主甚至在开始投放的几分钟内就把预算消耗完。这会导致广告主早早退出后续流量的竞争,不仅会影响广告主体验(无法触达到更多的优质用户),也导致整个广告不平稳(竞争都集中在早期,而后期又竞争不足)。

JVM-G1算法和数据结构那些事

2019-12-25
阅读 7 分钟
5.8k
人的情况和树相同。它愈想开向高处和明亮处,它的根愈要向下,向泥土,向黑暗处,向深处,向恶——千万不要忘记。我们飞翔得越高,我们在那些不能飞翔的人眼中的形象越是渺小。——尼采《查拉图斯特拉如是说》

Presto资源组快速指南

2019-12-24
阅读 4 分钟
3.1k
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注我们的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。 Presto作为一个大数据场景下的交互式查询引擎,在OPPO线上已经正常提供一年的查询服务了。 从刚开始,仅有国内几台服务器,到现在服务已经覆盖了国内外多个地区的大部分交互式查询,其中仅国内服...

主流Gradient Boosting算法对比

2019-12-23
阅读 8 分钟
6.3k
Gradient Boosting(梯度提升)是一种解决机器学习中分类和回归任务的技术。跟其他Boosting家族成员一样,其预测模型也是由一系列弱预测模型组成的。

基于随机游走的图嵌入之快速指南

2019-12-20
阅读 2 分钟
2.2k
图数据结构突破传统数据库按记录组织数据的限制,具备更灵活的现实数据建模能力。如何将图数据结构中的信息进行合理表征,方便地应用于下游任务成为一个问题。

Spark ML的特征处理实战

2019-12-18
阅读 9 分钟
3.5k
通常情况下,我们得到的数据中包含脏数据或者噪声。在模型训练前,需要对这些数据进行预处理,否则再好的模型也只能“garbage in,garbage out”。

零样本学习入门指南

2019-12-17
阅读 5 分钟
1.9k
尽管大量科研相关人员已经标注了很多标准数据集。但就算著名如ImageNet,在其千万级数据集中也不过分为21841 个类别,现实世界中已经标注的数据仍然只占少数,且有诸多场景如疾病图像的数据难以大量获取。

剖析Spark数据分区之Spark RDD分区

2019-12-16
阅读 7 分钟
5.3k
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第二篇,将重点分析Spark RDD的数据分区。该系列共分3篇文章,欢迎持续关注。

剖析Spark数据分区之Hadoop分片

2019-12-13
阅读 4 分钟
3.1k
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第一篇,将重点分析Hadoop分片。该系列共三篇文章,敬请关注。 第一篇:主要分析Hadoop中的分片; 第二篇:主要分析Spark RDD的分区; 第三篇:主要分析Spark Streaming,TiSpark中的数据分区; 转载请注名作者,同时欢迎关注OPPO互联网技术团队的公众号...

OPPO百万级高并发MongoDB集群性能数十倍提升优化实践(上)

2019-12-12
阅读 9 分钟
2.5k
本文来自OPPO互联网技术团队,转载请注名作者。同时欢迎关注OPPO互联网技术团队的公众号:OPPO_tech,与你分享OPPO前沿互联网技术及活动。

数万台服务器下的Docker深度安全实践

2019-12-11
阅读 10 分钟
2.2k
本文整理自OPPO互联网安全团队刘湛卢的分享,他们主要负责OPPO互联网安全团队的研发工作,如果你也关注容器安全问题,希望这篇文章能带来启发。

Flink在OPPO实时计算平台的研发与应用实践

2019-12-10
阅读 14 分钟
3.2k
本文整理自OPPO大数据平台研发负责人张俊的分享。如果读者正在考虑或者正在建设实时计算平台,希望能给大家带来一些参考。同时欢迎关注OPPO互联网技术团队的公众号:OPPO_tech