Kerberos Kerberos搭建（基于Ambari环境） 搭建KDC 安装 yum install krb5-server krb5-libs krb5-workstation 修改配置文件 vi /etc/krb5.conf {代码...} 创建Kerberos数据库 kdb5_util create -s 终端会提示您输入密码，该密码管理Kerberos数据库必须 启动KDC systemctl start krb5kdc systemctl start kadmin 启动自...

使用docker启动elasticsearch,kibana,cerebro 卸载旧版本docker 较旧版本的Docker被称为docker或docker-engine。如果已安装这些，请卸载它们以及相关的依赖项。 {代码...} 保留/var/lib/docker/的内容，包括图像，容器，卷和网络。Docker Engine - 社区包现在称为docker-ce。 安装docker 您可以根据需要以不同方式安装Do...

Docker是基于Go语言实现的云开源项目，诞生于2013年初，最初发起者是dotCloud公司。Docker的主要目标是“Build，Ship and Run Any App，Anywhere”，即通过对应用组件的封装、分发、部署、运行等生命周期的管理，达到应用组件级别的“一次封装，到处运行”。Docker为应用的开发和部署提供了“一站式”的解决方案。

使用KeepAlived实现主备服务 使用两台机器 + 一个虚拟IP 两台机器上分别启动着自己的HTTP服务，端口8999。 安装KeepAlived 在两台机器上安装keepalived yum install keepalived -y 配置keepAlived 在master那台，配置文件位于/etc/keepalived/keepalived.conf 写入内容 {代码...} 在Backup那台写入 {代码...} 两台的配置...

Kafka 学习笔记 Kafka使用一个叫Franz Kafka的文学家的名字用来命名的。 Kafka是一款开源的消息引擎系统。也是一个分布式流处理平台。 Kafka同时支持点对点模型以及发布/订阅模型。 为什么要使用Kakfa？四个字：削峰填谷！ Kafka 术语 Record:消息，指Kafka处理对象 Topic:主题，用来承载消息的容器 Partition:分区，一...

Elasticsearch学习笔记（入个门） 7.2.0版本 Elasticsearch安装启动 单实例 跟大部分开源产品一样，下载一个压缩包，解压缩就可用了。 解压后的文件目录说明 启动 bin/elasticsearch -E node.name=node1 -E cluster.name=ljktest -E path.data=node1_data 验证 浏览器输入localhost:9200 {代码...} 到此安装成功了 安装...

并发工具类 Lock和Condition 隐藏在并发包中的管程 还记得 死锁 中，破坏不可抢占条件方案吗？以下三种方案可以全面弥补synchronized的问题。 能够响应中断 支持超时 非阻塞地获取锁 代码则对应 {代码...} 可重入锁 顾名思义，指的是线程可以重复获取同一把锁。 {代码...} 公平锁和非公平锁 公平锁：唤醒的策略是谁的等...

Ambari自定义服务学习 集成kafka-manager到ambari 存入的地址: {代码...} 最后的文件结构 {代码...} 1. 写metainfo.xml {代码...} 2. 写脚本master.py {代码...} 3. 写quicklinks.json文件 {代码...} 4. 写配置文件 {代码...} 5. 重启ambari-server ambari-server restart 6. 在WEB上 ADD SERVICE 可以看到KAFKA_MANAGER...

Ambari升级 [TOC] 确认版本 目前公司使用的2.4.2版本，在2017年还算是比较新的了。目前就落后了三个大版本了。不得不感叹技术迭代真的太快了。 ambari2.7.3官网给出的升级，是必须在2.6.X上升级 ambari2.6.2.2官网给出的升级，是必须在2.4.2...上升级 {代码...} 也就是说，在2.4.2的基础上要升级到ambari2.7.3。必须先从...

Ambari 是 Apache Software Foundation 的一个顶级开源项目，是一个集中部署、管理、监控 Hadoop 分布式集群的工具。但是这里的 Hadoop 是一个广义概念，并不仅仅指的是 Hadoop（HDFS、MapReduce），而是指 Hadoop 生态圈（包括 Spark、Hive、Hbase，Sqoop，Zookeeper、Flume 等），Ambari 可以使 Hadoop 大数据软件更容...

YCSB是一款开源的分布式性能测试工具，常用于测试NoSQL产品的读写性能。YCSB支持常见的NoSQL数据库和数据网格产品，如Cassandra、MongoDB、HBase、Redis、Infinispan等主流产品。YCSB不仅安装使用简单，还能自由扩展测试数据类型和支持的数据库产品

执行hive统计sql即可这边使用COUNT(1)和COUNT(*)都不起作用，统计出来是0.只能使用COUNT(字段)。应该跟映射机制有关系。 SELECT COUNT(ID) FROM LJKTEST;

HBase二级索引方案 [TOC] 使用HBase Coprocessor方案 测试案例需求：在原表LJK_TEST上，将mycf:name作为二级索引。 第一步 创建一张索引表 create 'INDEX_LJK_TEST','mycf' 第二步 写代码 {代码...} 第三步 将jar包上传到HDFS，并给表LJK_TEST加上协处理器。 alter 'LJK_TEST','coprocessor'=>'/user/LJK/hbase.serve...

并发编程学习--并发理论基础篇 并发理论基础 可见性、原子性、有序性问题。并发编程BUG源头 可见性 一个线程对共享变量的修改，另外一个线程能够立刻看到，我们称为可见性。 在单核的时代，不会出现问题。 多核时代，就会出现问题了。 线程 A 操作的是 CPU-1 上的缓存，而线程 B 操作的是CPU-2上的缓存。线程A对变量V的...

编译SQL成为原生HBASE的可并行执行的scan在数据层完成计算，server端的coprocessor执行聚合下推where过滤条件到server端的scan filter上利用统计信息优化、选择查询计划（5.x版本将支持CBO）