[译]Netflix数据平台自动诊断和自动修复系统

2022-01-24
阅读 3 分钟
1.6k
Netflix 目前拥有公有云上最复杂的数据平台之一,数据科学家和数据开发工程师在该平台上每天运行着大量批处理和流处理任务。随着我们的付费订阅用户在全球范围内的增长以及Netflix 正式进入游戏赛道,批、流处理任务的数量也迅速增加。我们的数据平台基于诸多分布式系统构建而成,由于分布式系统的固有特性,运行在数据...

任务调度系统系列之Airflow

2022-01-21
阅读 6 分钟
5.9k
这是任务调度系统调研系列文章的开篇,后续会陆续调研Oozie,Azkaban,Dolphin Scheduler等系统。本文的主要内容是来自对官方文档和网上相关资料的调研,并非基于实际使用的经验总结,文章中难免会有一些不尽的细节或者关于Airflow错误的观点,如有不当之处,欢迎指正交流。

Java的那些日志框架们

2020-01-11
阅读 4 分钟
1.9k
日志在排查线上问题、跟踪线上系统运行情况中发挥着重要作用。在Java应用的开发中,常见的日志框架有JCL(commons-logging),slf4j,JUL(java.util.logging),log4j,log4j2,logback等。这些日志框架大致可以分为两类,一类是日志门面(JCL、slf4j),定义日志的抽象接口;另一类是日志实现(JUL,log4j,log4j2,lo...

Proxy Jump

2019-08-16
阅读 1 分钟
4.5k
为了安全起见,线上机器一般不会允许用户通过ssh直接登录,而是需要通过堡垒机(跳板机)跳转到目标线上机器,这样方便对权限控制的管理和访问操作的审计。不知道公司用的是哪款堡垒机产品,选择目标机器的过程异常繁琐。查看ssh的手册(manual)看到了-J选项,可以通过该选项指定ProxyJump然后直接登录到目标机器,命令...

长大后我就成了你

2019-08-15
阅读 1 分钟
2.1k
第一次接触Chrome是在大学寝室里龙哥的电脑上,那时候IE6还霸占者绝对的浏览器市场份额,装着IE内核、披着华丽外衣的国产浏览器也正春笋般崛起,真是有点被那蓝色简洁的窗体给惊讶到了,但是并没有让我从Firefox转战到Chrome,这么简单的一款产品在功能性和扩展性上怎么能和插件丰富的Firefox相比,于是我坚守在Firefox...

用dependency插件解决依赖包冲突

2015-11-24
阅读 4 分钟
15.8k
偶然翻阅了下 maven dependency 插件的官方文档,颇有收获,记录一下。可能有些标题党的嫌疑,并没有具体介绍怎么解决依赖冲突问题,不过既然你都打印出了依赖树,冲突关系已然在树中显示的清清楚楚了。

使用 Maven Profile 和 Filtering 打各种环境的包

2015-10-26
阅读 10 分钟
30.6k
每个项目都会有多套运行环境(开发,测试,正式等等),不同的环境配置也不尽相同(如jdbc.url),借助Jenkins和自动部署提供的便利,我们可以把不同环境的配置文件单独抽离出来,打完包后用对应环境的配置文件替换打包后的文件,其实maven已经给我们提供了替换方案:profile + filtering

ubuntu命令切换鼠标左右键

2014-01-23
阅读 1 分钟
6.1k
话不多说,让我们开始切换: 首先让我们把鼠标切换到反手(这里之所以用反手一词,是因为有人可能是左撇子,有人是右撇子「还有右撇子?」):xmodmap -e 'pointer = 3 2 1' 请拿出你的小鼠标摇一摇点一点, 是不是已经切换到反手了捏?! 好的,那让我们再切换回来:xmodmap -e 'pointer = 1 2 3' 请再次猛烈的点击一次! ...

Ubuntu 12.04创建wifi分享

2014-01-13
阅读 2 分钟
6.3k
如果你曾想过要用12.04建立个wifi分享的话, 你应该了解到, 直接通过右上角的网络管理新建的ad-hoc很多安卓设备没法识别。 所以你需要一款名为ap-hotspot的软件协助 1.安装:

vim的剪切板

2014-01-10
阅读 1 分钟
3.9k
vim有若干个剪切板,具体数目不定(有人说是12个,我的比较多) 不过哈,可以通过:reg命名查看剪切板里的内容""是默认剪切板,执行y(复制)和 p(粘贴)时,默认操作的都是这个板"+ 是系统剪切板,复制粘贴到它就能和其他编辑器交互了 把文本复制到制定剪切板:"Ny (N是剪切板编号,如:1), 粘贴呢同理 复制到系统板 "+y, 从...