CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适...

Scala 简介 Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。 准备工作 环境 {代码...} 依赖环境 Scala 语言可以运行...

Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存...

Apache Phoenix 是运行在Hbase之上的高性能关系型数据库，通过Phoenix可以像使用jdbc访问关系型数据库一样访问hbase。

提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟知的 Spark、以及 Hadoop 的 MapReduce，可以理解为一种计算框架。而 HDFS，我们可以认为是为计算框架服务的存储层。因此不管是 Spark 还是 MapReduce，都需要使用 HDFS 作为默认的持久化存储层。那么 HBase 又是什么，可以用在哪里，...

HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。

2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，一个微缩版：Nutch

环境 三台虚拟机(IP)： 192.168.252.121 192.168.252.122 192.168.252.123 1.修改主机名 修改三台主机名，以此类推，node1，node3，node3 命令格式 {代码...} {代码...} 剩下的虚拟机依次修改hostnamectl set-hostname[1-3] 重启操作系统 {代码...} 2.修改映射关系 1.在 node1 的 /etc/hosts 文件下添加如下内容 {代码.....

微服务(Microservices Architecture)是一种架构风格，一个大型复杂软件应用由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。在所有情况下，每个任务代表着一个小的业务能力。

Open source Picture bed 出于自用的目的，又找不到Java写的开源的程序，然后使用开源上传组件 bootstrap-fileinput 用 Spring Boot 写了一个图床 目前支持：七牛云，阿里云 GitHub： [链接] Configuration 使用的时候需要按照application.properties 里面的注释配置即可 Contact 作者：鹏磊 出处：[链接] Email：admin@...

Elves为光宇游戏运维团队开源的一套自动化运维开发平台(IT Automatic Develop Platform)，面向开发，注重以编程实现运维自动化，致力于为运维研发人员提供便捷的运维自动化业务编程实现环境， Elves自身不提供业务性功能，运维开发人员可根据自身的业务进行应用(APP)的开发来实现相应业务的自动化管理。

简述 ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana 这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 X-Pack X-Pack Elastic Stack X-Pack是一个Elastic Stack的扩展，将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中 搭建集群 阅读...

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

主从复制可以使MySQL数据库主服务器的主数据库，复制到一个或多个MySQL从服务器从数据库，默认情况下，复制异步; 根据配置，可以复制数据库中的所有数据库，选定的数据库或甚至选定的表。

采用二进制方式免编译安装MySQL,适合各类MySQL产品系列,不需要复杂的编译设置和编译时间等待,直接解压下载的软件包,初始化即可完成MySQL的安装和启动.

SolrCloud是基于Solr和Zookeeper的分布式搜索方案。当索引越来越大，一个单一的系统无法满足磁盘需求，查询速度缓慢，此时就需要分布式索引。在分布式索引中，原来的大索引，将会分成多个小索引，solr可以将这些小索引返回的结果合并，然后返回给客户端。

Solr是一款优秀的基于Lucene的全文检索服务器，它对Lucene进行了扩展，提供了非常丰富的查询语言，并对查询进行了性能优化。Solr和Lucene都由Apache Software Foundation（www.apache.org）管理。

zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难，其他的分布式系统没有必要 费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper，以至于zookeeper成为了各种分布式系统的基础组件，其地位之重要，可想而知。著名的hadoop，ka...

zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难，其他的分布式系统没有必要 费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper，以至于zookeeper成为了各种分布式系统的基础组件，其地位之重要，可想而知。著名的hadoop，ka...

CentOs7.3 ssh 免密登录 环境 VMware版本号：12.0.0 CentOS版本：CentOS 7.3.1611 三台虚拟机(IP)： 192.168.252.121 192.168.252.122 192.168.252.123 1.修改主机名 修改三台主机名，以此类推，node1，node3，node3 命令格式 {代码...} {代码...} 剩下的虚拟机依次修改hostnamectl set-hostname[1-3] 重启操作系统 {代...

CentOs6.5 修改主机名 CentOs6.5 系统安装好后，都会有默认的主机名：localhost.localdomain，修改主机名步骤如下 1.修改network文件 修改HOSTNAME的值，改为要修改主机名 {代码...} 2.修改hosts文件 localhost.localdomain 要设置的主机名。 {代码...} 注意：localhost.localdomain 修改后 node1 {代码...} 3.重启服务...

CentOs7.3 修改主机名 第一种 命令格式 {代码...} {代码...} 这种方式，只能修改临时的主机名，当重启机器后，主机名称又变回来了。 第二种 命令格式 {代码...} {代码...} 重启服务器 {代码...} 重新连接服务器 {代码...} Contact 作者：鹏磊 出处：[链接] Email：admin@souyunku.com 版权归作者所有，转载请注明出处 We...

CentOs7.3 编译安装 Nginx 1.9.9 安装 安装依赖 {代码...} 下载并解压 {代码...} 编译 编译时候可以指定编译参数，参考文章尾部：常用编译选项 {代码...} 安装 {代码...} 默认安装在/usr/local/nginx 里面有四个目录： conf: 配置文件夹，最重要文件是nginx.conf html: 静态网页文件夹 logs: 日志文件夹 sbin: nginx 的...

下载解压 {代码...} 重命名 {代码...} 配置环境变量 如果是对所有的用户都生效就修改vi /etc/profile 文件 如果只针对当前用户生效就修改 vi ~/.bahsrc 文件 在文件底部添加如下代码，如果上一步的路径和我的不一致要改一下 {代码...} 环境变量配置内容 {代码...} 使环境变量生效 运行 source /etc/profile使/etc/profil...

下载 下载Linux环境下的jdk1.8，请去（官网）中下载jdk的安装文件 我在百度云盘分下的链接：[链接] 密码：u4n4 上传在 /opt 目录 解压 {代码...} 重命名 {代码...} 配置环境变量 如果是对所有的用户都生效就修改vi /etc/profile 文件 如果只针对当前用户生效就修改 vi ~/.bahsrc 文件 在文件底部添加如下代码，如果上一...

CentOS7 安装 iptables 与详细使用 安装操作 检查状态 先检查是否安装了iptables {代码...} 安装iptables {代码...} 升级iptables {代码...} 安装iptables-services {代码...} 编辑配置 {代码...} 添加配置 示例：开放RabbitMQ 的 对外端口 {代码...} 保存配置 {代码...} 更多操作请往下阅读 重启服务 {代码...} 更多详...

Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。Redis支持数据的备份，即master-slave模式的数据备份。