大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。  视频讲解如下：[链接]

  大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件，以及它们的作用又是什么。  视频讲解如下：[链接]

  大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此Google将其核心技术的思想以论文的形式公开发表出来，这就是"Google的三驾马车"，即：Google的文件系统、MapReduce分布式计算模型和BigTable...

  WiredTiger提供文档级别（Document-Level）的并发控制，检查点（CheckPoint），数据压缩和本地数据加密（ Native Encryption）等功能。从MongoDB 3.2 版本开始，WiredTiger成为MongDB默认的Storage Engine。

  MongoDB的In-Memory存储引擎将会把数据存储在内存中。除了少量的元数据和诊断日志以外，In-Memory存储引擎不会维护任何存储在硬盘上的数据，从而避免硬盘的读写操作，以减少数据查询的延迟，从而提高性能。

  在MongoDB 3.2版本以前，MongoDB使用MMAPv1作为默认的存储引擎。在MMAPv1的存储引擎中，包含以下的组成部分：

  Redis使用的是客户端-服务器（C-S）模型和请求/响应协议的TCP服务器。这意味着通常情况下一个请求会遵循以下步骤：

  在了解了Docker Swarm的体系架构以后，基于已经部署好三台虚拟主机便可以非常容易地构建Swarm集群。下表列出了这三台虚拟机的相关信息。其中：master主机将作为Swarm Manager运行；而node1和node2将作为Swarm Node运行。

  Docker从1.12.0 版本开始，便已经将DockerSwarm集成进了Docker的引擎中。因此，Docker Swarm不需要单独进行安装。由于Docker Swarm内置了服务发现的功能，因此也不再需要进行服务发现配置了。Docker Swarm与Docker Compose类似，都是Docker官方提供的服务编排工具。但是二者所不同的是，Docker Compose 是在...

  Docker Machine是Docker官方提供的一个远程管理工具。通过使用Docker Machine，可以帮助开发人员在远程主机上安装Docker；或者在远程的虚拟主机上直接安装虚拟机并在虚拟机中安装Docker。Docker Machine还提供了相应的命令来管理这些远程的Docker环境和虚拟机。下图是官方提供的一张关于Docker Machine的图...

  Docker Compose 通过一个yml的描述文件来管理一个复杂系统中的多个容器。在该描述文件中，所有的容器都是通过services来进行定义。Docker Compose使用docker-compose脚本来完成服务的启动、停止、管理和扩容等工作。因此Docker Compose非常适合使用多个容器来组成一个复杂应用系统的场景。  视频...

  在Docker容器中提供了三个非常有用的工具，它们分别是：Docker Compose、Docker Machine和Docker Swarm。下面分别进行介绍。

  冷备份与冷恢复是指发生在数据库已经正常关闭的情况下进行的备份和恢复。由于此时数据库已经关闭，通过冷备份可以将数据库的关键性文件拷贝到另外存储位置。冷备份因为只是拷贝文件，因此备份的速度非常快。在执行恢复时，只需将文件再拷贝回去就可以很容易恢复到某个时间点上。冷备份的最大缺点在于在冷备...

  冷备份是指发生在数据库已经正常关闭的情况下进行的备份。由于此时数据库已经关闭，通过冷备份可以将数据库的关键性文件拷贝到另外存储位置。冷备份因为只是拷贝文件，因此备份的速度非常快。在执行恢复时，只需将文件再拷贝回去就可以很容易恢复到某个时间点上。冷备份的最大缺点在于在冷备份过程中，数据...

  RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。它由分区组成，每个分区被一个Spark的Worker从节点处理，从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式提供自动容错的功能，并且具有位置感知性调度和可伸缩的特性。通过RDD也提供缓存...

  在MySQL数据库中，用户信息、用户的密码、删除用户及分配权限等就是存储在MySQL数据库的"mysql.user"表中。下面展示了该表的部分字段信息：

  Pod是Kubernetes中的一个逻辑单位 ，它代表集群上正在运行的一个进程。Pod是Kubernetes集群中的一个应用实例，由一个或者多个容器组成。Pod中还可以包含数据的持久化存储、网络配置等资源。Pod支持多种容器执行环境，而Docker则是Kubernetes Pod中最常见的执行环境 ，Pods也支持其他容器引擎作为执行环境。...

  在最新的Hadoop版本中又实现了基于Router的联盟架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来，解决了ViewFS存在的问题。  视频讲解如下：[链接]

  要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream，翻译成中文是离散流。它是Spark Streaming对流式数据的基本数据抽象，或者说是Spark Streaming的数据模型。DStream的核心是通过时间的采用...

​  备份数据库就是将数据库中的数据，以及保证数据库系统正常运行的有关信息保存起来，以备系统出现故障后恢复数据库时使用。备份的对象不限于数据本身，也包括和数据相关的数据库对象、用户及权限、数据库环境等等。恢复数据库是将数据库系统从故障或者瘫痪状态恢复到可正常运行的状态，并能够将数据恢复到可...

  通过SQL语句处理数据的前提是需要创建一张表，在Spark SQL中表被定义DataFrame，它由两部分组成：表结构的Schema和数据集合RDD，下图说明了DataFrame的组成。

  在了解到了MongoDB复制集的体系架构以后，下面将通过具体的步骤来演示如何搭建单个节点的MongoDB复制集环境。下表列举了MongoDB复制集的配置信息。

  MongoDB的复制集中主要包括三个成员，即：主库、从库和仲裁者。一般情况下，MongoDB复制集集群中是一个主库和两个从库。数据库管理员也可以在复制集中添加一个MongoDB的实例，作为复制集的仲裁者。但仲裁者不是必须的。视频讲解如下：[链接]

  MongoDB的复制就是数据文档在多个MongoDB服务器节点直接进行数据同步的过程。因此MongoDB的复制集是一种集群技术。

  一般来说消息队列有两种场景，一种是发布者订阅者模式，而另一种是生产者消费者模式。这两种场景的消息队列Redis都能够实现。  该模式是利用了List能够实现队列(先进先出)和栈(先进后出)的特点。Redis List的主要操作为lpush/lpop/rpush/rpop四种，分别代表从头部和尾部的push/pop，除此之外List...

  一般来说消息队列有两种场景，一种是发布者订阅者模式，而另一种是生产者消费者模式。这两种场景的消息队列Redis都能够实现。  发布者和订阅者通过channel频道进行解偶， 订阅者监听某个channel的消息，当发布者向该channel推送消息时，订阅该channel的消费者都可以收到消息。视频讲解如下：

  在早期的MySQL数据库中，用户的密码是保存在“mysql.user”表中的“password”字段中。但是从MySQL 5.7版本开始“password”字段改成“authentication_string”字段。例如，下面的语句将查询MySQL中用户的密码。

  MySQL访问控制实际上由两个功能模块共同完成的：一个模块是用户管理模块；而另一个是访问控制模块。用户管理模块主要是验证用户的合法性，是否能够访问MySQL数据库；而访问控制模块则需要根据权限系统表中存储的权限信息来决定用户用户什么样的权限。  视频讲解如下：[链接]

  Pod由一个或者多个容器组成，这里的容器通常指的是运行应用程序的业务容器。但是Pod中除了业务容器外，还有基础容器、初始化容器和临时容器。  临时容器是一种特殊的容器，它在现有的Pod中临时运行，以便完成用户发起的操作，例如故障排查和性能诊断等。由于临时容器没有端口配置，并且资源分配是...

  Pod由一个或者多个容器组成，这里的容器通常指的是运行应用程序的业务容器。但是Pod中除了业务容器外，还有基础容器、初始化容器和临时容器。  视频讲解如下：