KAFKA 连接器发布(Microsoft SQL Server)

2019-12-07
阅读 2 分钟
2.6k
Zookeeper 端口为:12181KAFKA 在 zookeeper 上的命名空间:kafka_cdhKAFKA 端口:19092KAFKA 版本: [链接]链接器:debezium-debezium-connector-sqlserver-0.9.5.zip

Microsoft SQL Server 开启 CDC

2019-12-07
阅读 2 分钟
3.3k
SQL Server 代理服务( SQL Server agent) {代码...} 配置 CDC 以 test 库, dbo.person30 表为例 在需要开启cdc的数据库上执行脚本如下: {代码...} 查询数据库的cdc开启状态 {代码...} 查询结果为“1”,表示开启成功。sql server agent 中会有有如下 job 为表开启 CDC 表中必须有主键或者唯一索引 {代码...} 查看表cdc...

kafka 偏移量相关接口

2018-11-20
阅读 2 分钟
2.6k
kafka 0.9 之前的版本偏移量信息是通过 zookeeper 管理的;为了避免对 zookeeper 的过度依赖,每次从 kafka 上读取 topic 偏移量信息,连接消耗还是比较大的,从 kafka 0.9 开始,kafka 已接管了偏移量信息管理功能,并将各消费组的偏移量写入了 __consumer_offsets 主题(默认50个分区);api 方式获取某消费组的消费偏...

Hadoop/HBase 编译安装 snappy 压缩工具(采坑)

2018-02-08
阅读 4 分钟
7.3k
准备所需组件 Hadoop 2.7.3:[链接] Snappy 1.1.3: [链接] protobuf-2.5.0: [链接] 安装依赖包 {代码...} 大部分可直接 yum install 安装即可 安装 snappy 解压 unzip snappy-1.1.3.zip 进入目录 cd snappy-1.1.3 编译安装 ./configure, make && make install;编译成功后,在 /usr/local/lib/ 下会有如下 {代码....

Docker 存储,时区,镜像加速等配置问题 (Redhat)

2018-02-07
阅读 1 分钟
3.7k
配置存储,加速 {代码...} 修改数据文件默认存储位置 {代码...} 时区问题 Dockerfile {代码...} 挂载主机 localtime {代码...} 容器与宿主机之间文件传输 {代码...} 导出镜像 {代码...} 导出容器 {代码...} 导入镜像 {代码...}

Java 协变、逆变与不变

2017-03-10
阅读 1 分钟
2.3k
逆变 与 协变 用来 描述类型转换(type transformation)后的继承 关系,其定义:如果 X、Y 表示类型,f(⋅) 表示类型转换,≤ 表示继承关系(比如,A≤B 表示 A 是由 B 派生出来的子类)。

Firewalld 防火墙

2017-03-08
阅读 4 分钟
2.9k
Firewalld 服务是红帽 RHEL7 系统中默认的防火墙管理工具,特点是拥有运行时配置与永久配置选项且能够支持动态更新以及 "zone" 的区域功能概念,使用图形化工具 firewall-config 或文本管理工具 firewall-cmd,下面实验中会讲到~

Redhat 7/CentOS 7 SSH 免密登录

2017-03-08
阅读 1 分钟
5.2k
2. CentOS 默认没有启动 ssh 无密登录,去掉 /etc/ssh/sshd_config 其中 2 行的注释,每台服务器都要设置。

Spark on YARN 部署案例

2017-03-08
阅读 12 分钟
3.6k
环境准备 1. 服务器角色分配 ip hostname role 10.8.26.197 server1 主名字节点 (NodeManager) 10.8.26.196 server2 备名字节点 (SecondaryNameNode) 10.8.26.196 server2 数据字节点 (DataNode) 2. 软件设施 jdk1.8.0_102 scala-2.11.0: hadoop-2.7.0 spark-2.0.2-bin-hadoop2.7:对应 scala 版本不能是 scala-2.11.x 3...

Spark Standalone 模式部署案例

2017-03-08
阅读 6 分钟
7.8k
先决条件: 环境 rhel 7.2 jdk-8u102-linux-x64 spark-2.0.2-bin-hadoop2.7 Scala 2.11,注意:2.11.x 版本是不兼容的,见官网:[链接]。 准备 master 主机和 worker 分机 server1 机器:10.8.26.197,master server2 机器:10.8.26.196,worker server3 机器:10.8.26.195,worker 修改 host {代码...} 关闭所有节点机...

在 Linux 上部署 Docker

2017-03-08
阅读 6 分钟
3.9k
参考 Docker 官网用户指南:[链接] 环境依赖 Linux:64 位 Kernel 3.10 及以上(RHEL7 以上版本) Windows:64 位 在 Ubuntu 上安装 Docker Docker 支持以下的 Ubuntu 版本 Ubuntu Xenial 16.04 (LTS) Ubuntu Wily 15.10 Ubuntu Trusty 14.04 (LTS) Ubuntu Precise 12.04 (LTS) 先决条件 Docker 需要在 64 位版本的 Ubun...

Harbor:v05.0 部署(HTTPS)

2017-03-08
阅读 3 分钟
4.2k
Harbor 默认 HTTP 请求注册服务器,并不分发任何证书。使得其配置相对简单。然而,强烈建议在生产环境中增强安全性。Harbor 有一个 Nginx 实例为所有服务提供反向代理,你可以在 Nginx 配置中启用 HTTPS 。

在 Linux 上部署 Kubernetes

2017-03-08
阅读 4 分钟
6.2k
先决条件 操作系统: Ubuntu 16.04, CentOS 7 or HypriotOS v1.0.1+ 至少 1GB RAM 确保集群内所有计算机之间的网络连接(公共或专用网络都行) 目标 在你的机器上安装一个安全的 Kubernetes 集群 在集群上安装一个 pod 网络,一遍应用组件(pods)之间可以正常通信。 安装 在主机上安装 kubelet 和 kubeadm 以下为将要在...