旨在快速配置一台新服务器的登陆权限新增用户 {代码...} 配置ssh支持密钥登陆 {代码...} 用户密钥 {代码...} 测试登陆 {代码...} 禁用root登陆(可选) {代码...}

最近在做大数据量的实时数据迁移, 频繁使用到了keyby hash去均衡数据, 但是却发现subtask执行的数据量不是很均衡, 导致checkpoint频繁超时, 于是开始寻找解决方法.

github有基于docker-compose搭建hbase的项目, 十分完整, 按照说明直接up, 便能在镜像中进行hbase shell等相关操作, 但是从外部连接hbase(指通过zk)有一些问题, 之后通过几行配置修改, 完成了该目标.

prometheus 本质上是一个时序数据库, 再配以alermanager pushgateway等子组件, 便可搭建成一个监控平台, 目前已经是比较主流的做法, 本文主要介绍一下此组件的简单使用和可以应用到的场景.

superset是基于flask+sqlalchemy, 对odps并没有支持. 可是odps支持了postgresql协议, 我们便可以通过postgresql协议添加数据源.

由于数据存在倾斜, 需要实现两阶段聚合, 这个时候萌生了连续使用eventtime window进行聚合的想法, 于是开始了以下的源码分析.

我的网络通信概念还停留在比较基础的地方, 直觉来说就是发送一个get/post请求, 设定一定的参数格式, 这样对方再解析你的数据, 基于此完成通讯.而rpc则不使用这种显式的通讯方式, 通过proto与生成grpc文件, 里面提供方法, 供client与server通过方法来进行通讯. 简单来说, 就是如果你以前要告诉server你好, 需要发送一个完...

目前开发中有遇到进程间需要共享数据的情况. 所以研究了下multiprocessing.Manager, 主要会以dict为例子, 说明下进程间共享(同一个父进程).

常用操作 编译时指定目录: {代码...} 快速安装pip {代码...} 常见错误 PyUnicodeUCS4_AsUTF8String 编译时声明参数 --enable-unicode=ucs4 _ssl 安装 libssl-dev 编译是声明参数 --enable-optimizations

python logging 备忘 常用format {代码...} 常用handler TimedRotatingFileHandler 按照日期切分日志 如下: {代码...} StreamHandler std输出 如下: {代码...} 添加handler {代码...} 終わり。

旨在快速配置supervisor 常见问题 如何不重启supervisor的情况重新读取配置 {代码...} 如何不让程序随supervisor自动启动在conf中添加autostart=false 多进程如何同时关闭子进程在conf中添加stopasgroup=true 下载supervisor {代码...} 创建配置文件 {代码...} 启动 {代码...} 管理 supervisorctl Actions Print a list ...

前言: 针对高延时任务, 直接在一次网络请求中处理完毕会导致很不好的体验, celery则可以不阻塞请求后台处理这些任务, 并且可以使用django的models进行数据库操作.

依赖工程放在SDK文件夹中/SDK/extras/google/文件夹下, 需要依赖market_apk_expansion与market_licensing.

python3提供了协程专用的关键字async await, 还提供了asyncio库, 来进行异步非阻塞的io操作 异步非阻塞的io操作? 没有老师检查我也不知道自己算不算完全懂了, 就不做无用功尝试说得通俗易懂了.想要从原理开始理解的话, 推荐tornado的文档 我为何使用asyncio来代替传统线程进行io操作? 由于时间主要耗费在io操作上, 其他...

使用python3.6在Ubuntu中进行了一项使用Chrome headless浏览器的工作, 在此记录下遇到的问题以及解决方法. 入门? 参考 unning-selenium-with-headless-chrome selenuim被识别? 请务必试试以下代码原文 {代码...} Ubuntu中如何安装chrome浏览器, 以及chromedriver? 参考 Installing ChromeDriver on Ubuntu selenium启动...