MySQL的全量日志（general log）会记录MySQL数据库所有操作的SQL语句，包含select和show。默认情况下，禁用全量日志。视频讲解如下：[链接]

MySQL的慢查询日志可以把超过参数long_query_time时间的所有SQL语句记录进来，帮助DBA人员优化所有有问题的SQL语句。通过mysqldumpslow工具可以查看慢查询日志。

MySQL的binlog日志文件（也叫做：二进制日志）记录了对MySQL数据库执行更改的所有操作，但是不包括SELECT和SHOW这类操作，因为这类操作对数据本身并没有修改。若操作本身并没有导致数据库发生变化，那么该操作不会被写入binlog。binlog日志文件的主要作用：

MySQL与Oracle一样都是通过逻辑存储结构来管理物理存储结构，即管理硬盘上存储的各种文件。下面将详细介绍InnoDB存储引擎中的撤销日志文件和错误日志文件。

MySQL与Oracle一样都是通过逻辑存储结构来管理物理存储结构，即管理硬盘上存储的各种文件。下面将详细介绍InnoDB存储引擎中的数据文件和重做日志文件。

MySQL的InnoDB存储引擎的逻辑存储结构和Oracle大致相同，所有数据都被逻辑地存放在一个空间中，我们称之为表空间（tablespace）。表空间又由段（segment）、区（extent）、页（page）组成。InnoDB存储引擎的逻辑存储结构大致如下图所示。

InnoDB存储引擎目前是MySQL默认的存储引擎，它主要由三部分组成，分别是：存储结构、内存结构和线程结构。InnoDB的存储结构又可以分为逻辑存储结构和物理存储结构。InnoDB存储引擎的逻辑存储结构和Oracle大致相同，所有数据都被逻辑地存放在一个空间中，我们称之为表空间（tablespace）。表空间又由段（segment）、区（e...

MySQL的基准测试可以理解为是对数据库运行时的一种压力测试。但这样的测试不关心业务逻辑，更加简单、直接、易于测试。测试时使用的数据可以由工具生成，不要求真实。MySQL数据库基准测试时的关键指标包括以下3个方面：

​Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出会造成服务器中的数据库状态也会消失。所以 Redis 提供了数据持久化功能。Redis支持两种方式的持久化，一种是RDB方式；另一种是AOF（append-only-file）方式。两种持久化方式可以单独使用，也可以将这两种方式结合使用。

Redis是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出会造成服务器中的数据库状态也会消失。所以 Redis 提供了数据持久化功能。Redis支持两种方式的持久化，一种是RDB方式；另一种是AOF（append-only-file）方式。两种持久化方式可以单独使用，也可以将这两种方式结合使用。  视...

Memcached是一个高性能的分布式的内存对象缓存系统。通过使用Memcached可以支持高负载的网站系统，以分担数据库的压力。Memcached通过在内存里维护一个统一的巨大的Hash表来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。但是Memcached不能将数据进行持久化，因此严格意义来说，Memcached只能叫做一...

Memcached是一个高性能的分布式的内存对象缓存系统。通过使用Memcached可以支持高负载的网站系统，以分担数据库的压力。Memcached通过在内存里维护一个统一的巨大的Hash表来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。但是Memcached不能将数据进行持久化，因此严格意义来说，Memcached只能叫做一...

Memcached是一个高性能的分布式的内存对象缓存系统。通过使用Memcached可以支持高负载的网站系统，以分担数据库的压力。Memcached通过在内存里维护一个统一的巨大的Hash表来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。但是Memcached不能将数据进行持久化，因此严格意义来说，Memcached只能叫做一...

Hive的分区表跟Oracle、MySQL中分区表的概念是一样的。当表上建立了分区，就会根据分区的条件从物理存储上将表中的数据进行分隔存储。而当执行查询语句时候，也会根据分区的条件扫描特定分区中的数据，从而避免全表扫描以提高查询的效率。Hive分区表中的每个分区将会在HDFS上创建一个目录，分区中的数据则是该目录下的文...

Hive是基于HDFS之上的数据仓库，它把所有的数据存储在HDFS中，Hive并没有专门的数据存储格式。当在Hive中创建了表，可以使用load语句将本地或者HDFS上的数据加载到表中，从而使用SQL语句进行分析和处理。

在Oracle数据库中，参数文件在通常情况下指的就是初始化参数文件（Initialization Parameter File)。在参数文件中包括了初始化参数文件和服务器端参数文件。在Oracle数据库启动的时候就会读取参数文件，然后根据参数文件中的参数值来分配内存和启动一系列的后台进程。

一、控制文件（Control File）在Oracle数据库中，一个数据库至少要有一个控制文件，控制文件中存放了Oracle数据库的物理结构信息。这些物理结构信息就包括:数据库的名字。数据文件和联机日志文件的名字及位置。创建数据库时的时间戳。RMAN备份的元信息。视频讲解如下：[链接]Oracle数据库在启动过程中，会根据控制文件中...

  在Oracle数据库中，一个数据库可以有多个联机重做日志文件，它记录了数据库的变化。例如，当Oracle数据库产生异常时，导致对数据的改变没有及时写入到数据文件中。这时Oracle数据库就会根据联机重做日志文件中的信息来获得数据库的变化信息，并根据这些信息把这些改变写到数据文件中。换句话来说，联机重做...

  在Oracle数据库中，一个数据库由多个表空间组成，而表空间可以由多个数据文件组成的，数据文件是真正存放数据库数据的。一个数据文件就是一个硬盘上的文件。表和索引中的数据在物理上是被存放在数据文件中的。当查询表中数据的时候，如果内存中没有该表的数据，那么Oracle数据库的服务器进程将读取该表所在...

  Oracle的物理存储结构就是指的Oracle数据库在硬盘上存储的各种文件，包括：数据文件、联机日志文件、控制文件、归档日志文件、参数文件、告警日志文件、跟踪文件和备份文件等。

  在K8s中，Deployment将Pod部署成无状态的应用程序，它只关心Pod的数量、Pod更新方式、使用的镜像和资源限制等。由于是无状态的管理方式，因此Deployment中没有角色和顺序的概念，换句话说：Deployment中没有状态。  通过使用Deployment，可以让开发人员上线部署Pod、设置Pod的副本、实现Pod的升级...

  在K8s中，StatefulSets将Pod部署成有状态的应用程序。通过使用StatefulSets控制器，可以为Pod提供持久存储和持久的唯一性标识符。StatefulSets控制器与Deployment控制器不同的是，StatefulSets控制器为管理的Pod维护了一个有粘性的标识符。无论这些Pod如何被调度，每个Pod的标识符都是永久不变的。这一特点...

  在K8s中，Job控制器管理的作业在控制器资源被创建之后便会立即执行，而CronJob控制器可用于管理和调度作业运行的时间，从而实现定时作业和周期作业的目的，这种控制器管理和调度作业的方式类似Linux的crontab命令。CronJob控制器管理和调度作业的方式主要有以下两种：

  Kubernetes Job是一次性任务的控制器。它控制Pod中的容器执行完成任务后不会再重启，并将容器的状态设置为“Completed”。如果Pod中的容器出现了异常终止的情况，Job控制器会根据设置的重启策略进行Pod的重启。如果因为Node节点的故障导致Pod无法正常运行，Job控制器会通过调度器将Pod调度到其他的节点上运行...

  在Kubernetes中，Job是一次性任务的控制器。它控制Pod中的容器执行完成任务后不会再重启，并将容器的状态设置为“Completed”。如果Pod中的容器出现了异常终止的情况，Job控制器会根据设置的重启策略进行Pod的重启。如果因为Node节点的故障导致Pod无法正常运行，Job控制器会通过调度器将Pod调度到其他的节点上...

  DaemonSet控制器相当于在节点上启动了一个守护进程。通过使用DaemonSet可以确保一个Pod的副本运行在 Node节点上。如果有新的Node节点加入集群，DaemonSet也会自动给新加入的节点增加一个Pod的副本；反之，当有Node节点从集群中移除时，DaemonSet也可以保证将这些Pod自动回收。当删除 DaemonSet将会删除它创...

  K8s的Deployment将Pod部署成无状态的应用程序，它只关心Pod的数量、Pod更新方式、使用的镜像和资源限制等。由于是无状态的管理方式，因此Deployment中没有角色和顺序的概念，换句话说：Deployment中没有状态。  通过使用Deployment，可以让开发人员上线部署Pod、设置Pod的副本、实现Pod的升级与回...

  Kubernetes通过创建控制器来管理Pod的生命周期。为了满足不同需求的场景，Kubernetes开发了 不同的控制器，如：Deployment、DaemonSet、Job、CronJob、StatefuleSet等。

  由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在部署HDFS HA的时候，也可以同时部署Yarn的HA。每个节点上部署的服务如下表所示：

  大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。  视频讲解如下：[链接]