【赵渝强老师】Kafka分区的副本机制

8 月 4 日
阅读 1 分钟
268
  在Kafka中每个主题可以有多个分区,每个分区又可以有多个副本。在这多个副本中,只有一个副本的角色是Leader,而其他副本的角色都是Follower。仅有Leader副本所在的Kafka Broker可以对外提供服务。Follower副本通常不会存放在Leader副本所在的Kafka Broker上。通过这样的机制实现了高可用,当Leader副本所在...
封面图

【赵渝强老师】Kafka的主题与分区

8 月 3 日
阅读 1 分钟
251
  ​Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题,而消费者负责订阅主题进行消费。主题可以分为多个分区,一个分区只属于某一个主题。下面为列举了主题和分区的关系:
封面图

【赵渝强老师】Docker的None网络模式

8 月 3 日
阅读 1 分钟
451
  由于Docker的容器彼此之间是逻辑隔离的,所以,在安装Docker时会为在容器创建隔离的网络环境。在该隔离的网络模式环境下,运行在宿主机上的各个容器具有完全独立的网络栈,并且Docker容器的网络环境与宿主机相互隔离。通过配置使用Docker的不同网络模式,可以使容器共享宿主机的网络命名空间,也可以实现容...
封面图

【赵渝强老师】Docker的Host网络模式

8 月 3 日
阅读 1 分钟
577
  由于Docker的容器彼此之间是逻辑隔离的,所以,在安装Docker时会为在容器创建隔离的网络环境。在该隔离的网络模式环境下,运行在宿主机上的各个容器具有完全独立的网络栈,并且Docker容器的网络环境与宿主机相互隔离。通过配置使用Docker的不同网络模式,可以使容器共享宿主机的网络命名空间,也可以实现容...
封面图

【赵渝强老师】Docker的Container网络模式

8 月 3 日
阅读 2 分钟
348
  由于Docker的容器彼此之间是逻辑隔离的,所以,在安装Docker时会为在容器创建隔离的网络环境。在该隔离的网络模式环境下,运行在宿主机上的各个容器具有完全独立的网络栈,并且Docker容器的网络环境与宿主机相互隔离。通过配置使用Docker的不同网络模式,可以使容器共享宿主机的网络命名空间,也可以实现容...
封面图

【赵渝强老师】Docker的Bridge网络模式

8 月 3 日
阅读 2 分钟
406
  由于Docker的容器彼此之间是逻辑隔离的,所以,在安装Docker时会为在容器创建隔离的网络环境。在该隔离的网络模式环境下,运行在宿主机上的各个容器具有完全独立的网络栈,并且Docker容器的网络环境与宿主机相互隔离。通过配置使用Docker的不同网络模式,可以使容器共享宿主机的网络命名空间,也可以实现容...
封面图

【赵渝强老师】MongoDB的客户端工具

8 月 3 日
阅读 4 分钟
370
  MongoDB是一个基于分布式文件存储的NoSQL数据库,它也是最像关系型数据库的NoSQL数据库。MongoDB官方提供了两个客户端工具:一个是命令行客户端工具mongoshell;另一个是图形化免费工具MongoDB Compass。视频讲解如下:[链接]
封面图

【赵渝强老师】Redis的存储结构

8 月 3 日
阅读 2 分钟
250
  每个Redis数据库都会有一个编号,该编号从0开始计算。当使用Redis客户端连接Redis服务器时,默认将连接到0号数据库中。可以通过使用select语句进数据库的切换。视频讲解如下:[链接]

【赵渝强老师】Docker的数据持久化

8 月 3 日
阅读 3 分钟
333
  在生产环境中使用Docker时,一方面,往往需要对数据进行保存或者在多个容器之间进行数据共享;另一方面,在Docker的容器被删除销毁后,并不保留容器状态的信息。那么如何实现信息的持久化操作呢?这必然涉及容器的数据管理操作和数据的持久化。  在Docker容器中,实现数据的管理(或者说实现数据...
封面图

【赵渝强老师】阿里云大数据生态圈体系

8 月 3 日
阅读 3 分钟
343
  基于开源的大数据技术,阿里云开发了自己的大数据计算服务,即:MaxCompute大数据计算服务。MaxCompute原名为ODPS(Open Data Processing Service),它是阿里云提供的数据仓库解决方案,并提供大数据量(百TB、PB、EB)的结构化数据的存储和计算服务。由于MaxCompute适用于离线计算的批处理场景,因此阿里...
封面图

【赵渝强老师】MySQL的InnoDB存储引擎

8 月 3 日
阅读 4 分钟
253
  InnoDB是当前MySQL的默认的存储引擎,也是互联网等公司数据库存储引擎的不二选择。InnoDB的特性如下:支持数据库事务。在可重复读的隔离级别下,解决了不可重复读的问题。并且通过间隙锁的引入解决了幻读的问题。支持行级锁和表级锁。默认是行级锁,因此具备更高的并发度。支持外键。为处理巨大数据量时的最...
封面图

【赵渝强老师】MySQL的MyISAM存储引擎

8 月 3 日
阅读 1 分钟
225
  在MySQL5.1版本之前,默认的存储引擎是MyISAM。该存储引擎管理非事务表,是ISAM 的扩展格式。除了提供ISAM里所没有的索引的字段管理的功能外,MyISAM 还使用一种表格锁定的机制来优化多个并发的读写操作。视频讲解如下:
封面图

【赵渝强老师】MySQL的Memory存储引擎

8 月 3 日
阅读 1 分钟
313
  MySQL的存储引擎层负责数据的存储和提取。其架构模式是插件式的,支持 InnoDB、MyISAM、Memory 等多个存储引擎。现在最常用的存储引擎是 InnoDB,它从 MySQL 5.5.5 版本开始成为了默认存储引擎。
封面图

【赵渝强老师】Hive的体系架构

8 月 2 日
阅读 2 分钟
188
  在Hadoop体系中提供数据分析引擎Hive。它允许使用SQL语句来分析处理数据,而不需要编程复杂的Java程序。同时Hive提供了丰富的数据模型来创建各种表结构,帮助数据分析人员建立数据模型。视频讲解如下:[链接]
封面图

【赵渝强老师】Kubernetes命令行管理工具

8 月 2 日
阅读 2 分钟
155
  kubectl是Kubernetes提供的命令行工具。通过使用kubectl,可以管理和操作Kubernetes。下表列出了kubect的常用命令。
封面图

【赵渝强老师】Oracle的数据字典

8 月 2 日
阅读 2 分钟
333
  数据字典是Oracle存放有关数据库信息的地方,几乎所有的数据库信息和对象信息都可在数据字典中进行查询,它是随着数据库的建立而建立的。数据字典是Oracle数据库系统的信息核心,它是一组提供有关数据库信息的表和视图的集合。对于普通用户而言,这些表和视图是只读的。Oracle数据库的管理员sys用户是数据字...
封面图

【赵渝强老师】HBase的体系架构

8 月 2 日
阅读 2 分钟
141
  在学习HBase的体系架构之前,需要先了解一下HBase中的一些术语。这些术语如下表所示。  从体系架构的角度看,HBase是一种主从架构,包含:HBase HMaster、Regionserver和ZooKeeper。视频讲解如下:[链接]
封面图

【赵渝强老师】HBase的表结构

8 月 2 日
阅读 2 分钟
179
  在学习HBase的表结构之前,首先需要了解一下什么是Google的BigTable思想。BigTable大表的思想是Google的“第三驾马车”。正因为有了这样的思想就有了Hadoop生态圈体系中的NoSQL数据库HBase。
封面图

【赵渝强老师】什么是Docker File?

8 月 2 日
阅读 2 分钟
261
  Docker 镜像是一个特殊的分层文件系统,包含应用程序和必要的依赖环境,但并不包含任何的动态信息。构建一个镜像,实际上就是为镜像中的每一层创建相应的配置。因此,可以把构建的命令语句、参数配置等信息都写入一个脚本中,这样,“docker commit”命令的无法重复的问题、镜像臃肿的问题就都被解决了。这个...
封面图

【赵渝强老师】MongoDB的安装与访问

8 月 2 日
阅读 3 分钟
180
  MongoDB是一个基于BSON文档的NoSQL数据库,下面的步骤将在Linux的操作系统上安装和部署MongoDB。下表列举了所使用的版本信息。  视频讲解如下:[链接]
封面图

【赵渝强老师】Redis的安装与访问

8 月 2 日
阅读 4 分钟
150
  本文将基于Redis 6.2版本进行讲解,并将Redis部署在CentOS 7 64位的虚拟机环境中。下图展示了Redis官方网站提供的Redis下载信息。
封面图

【赵渝强老师】Kafka的体系架构

8 月 2 日
阅读 2 分钟
279
  Kafka消息系统是一个典型的分布式系统,其组成部分包括:消息生产者(Producer)、消息消费者(Consumer)、消息服务器(Broker)以及分布式协调服务ZooKeeper。一个典型的Kafka消息系统的集群架构如下图所示。  视频讲解如下:[链接]
封面图

【赵渝强老师】使用二进制包方式安装Docker

8 月 2 日
阅读 2 分钟
264
  使用yum方式安装Docker非常简单,但需要连接外部的网络。而在实际的企业生产环境中,通常是不能直接访问外部的网络。这时可以使用Docker官方提供的二进制包进行Docker的离线安装。下图展示的是Docker官方提供的二进制包下载网页。  视频讲解如下:[链接]
封面图

【赵渝强老师】基于Flink的流批一体架构

8 月 2 日
阅读 2 分钟
154
  由于Flink集成了批计算和流计算,因此可以使用Flink构建流批一体的系统架构,主要包含数据集成的流批一体架构、数仓架构的流批一体架构和数据湖的流批一体。
封面图

【赵渝强老师】Oracle的体系架构

8 月 2 日
阅读 4 分钟
255
  Oracle数据库中最重要的部分就是它的体系架构,只有掌握Oracle的体系架构才能很好地使用它。Oracle数据库的体系架构是进行数据库管理、数据库备份恢复以及数据库性能诊断和优化的基础。同时由于关系型数据库的相通性,掌握了Oracle数据库的体系架构对于进一步学习其他类型数据库将会有非常大的帮助。 &...
封面图

【赵渝强老师】HDFS数据上传和下载的过程

8 月 2 日
阅读 1 分钟
251
  在Hadoop的HDFS中客户端的操作请求,无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。
封面图

【赵渝强老师】部署Hadoop本地模式

8 月 2 日
阅读 2 分钟
137
  下面展示了Hadoop的目录结构。  为了方便操作Hadoop,需要设置HADOOP_HOME的环境变量,并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。(1)编辑文件~/.bash_profile文件。
封面图

【赵渝强老师】启动与关闭MySQL

8 月 2 日
阅读 1 分钟
148
  MySQL数据库安装成功后,就可以通过MySQL提供的命令脚本来启动MySQL数据库服务器了。  视频讲解如下:[链接]  下面是具体的操作步骤。(1)启动MySQL数据库。
封面图

【赵渝强老师】MySQL的连接方式

8 月 2 日
阅读 4 分钟
111
  MySQL数据库服务器成功启动后,可以通过多种不同的方式进行连接。连接方式主要有:本地连接、远程连接和安全连接。下面通过具体的步骤来演示如何使用它们。  视频讲解如下:[链接]
封面图

【赵渝强老师】什么是Kubernetes的Pod

8 月 2 日
阅读 1 分钟
171
  Pod是Kubernetes中的一个逻辑单位 ,它代表集群上正在运行的一个进程。Pod是Kubernetes集群中的一个应用实例,由一个或者多个容器组成。Pod中还可以包含数据的持久化存储、网络配置等资源。Pod支持多种容器执行环境,而Docker则是Kubernetes Pod中最常见的执行环境 ,Pods也支持其他容器引擎作为执行环境。&...
封面图