1.数据库高可用实现
1.1 数据库读写分离原理
1.2 Mycat介绍
1.3 Mycat特性
1.支持前端作为MySQL通用代理
2.后端JDBC方式支持Oracle,DB2,SQL Server,mongodb,巨杉
3.基于心跳的自动故障切换，支持读写分离
支持MySQL Cluster,Galera,Percona,cluster集群
支持数据的多片自动路由与聚合
支持sum,count,max等常用的聚合函数,支持跨库分页
支持库内分表,支持单库内部任意join全局表，支持跨库2表join
基于caltlet的多表join
支持通过全局表，ER关系的分片策略，实现了高效的多表join查询
1.4 安装具体步骤
1.4.1 上传安装包
1.4.2 解压文件
命令: ‘tar -xvf Mycat-server-1.7.0-DEV-20170416134921-linux.tar.gz’
删除没用的文件. 如图所示:
1.4.3 关于代理服务器配置原则
1.4.4 编辑server.xml配置文件
1.代理的端口号-8066 常见端口号: 8080tomcat服务器,3306 mysql数据,80 nginx ,6379 redis
2.修改数据库链接
3).设定用户名和密码
4).数据库链接池一般最大的链接数量1000个.
5).逻辑库的说明: 只存在于逻辑意义上的数据库
1.4.5 编辑schema.xml配置文件信息
说明: 该文件主要的作用就是配置代理与数据库之间的关系.主要配置数据库具体地址信息
`<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!--name属性是自定义的 dataNode表示数据库的节点信息 jtdb表示逻辑库-->
<schema name="jtdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="jtdb"/>
<!--定义节点名称/节点主机/数据名称-->
<dataNode name="jtdb" dataHost="localhost1" database="jtdb" />
<!--参数介绍 UTF-8 中文报错 使用单行注释 -->
<!--balance 0表示所有的读操作都会发往writeHost主机 -->
<!--1表示所有的读操作发往readHost和闲置的主节点中-->
<!--writeType=0 所有的写操作都发往第一个writeHost主机-->
<!--writeType=1 所有的写操作随机发往writeHost中-->
<!--dbType 表示数据库类型 mysql/oracle-->
<!--dbDriver="native" 固定参数 不变-->
<!--switchType=-1 表示不自动切换, 主机宕机后不会自动切换从节点-->
<!--switchType=1 表示会自动切换(默认值)如果第一个主节点宕机后,Mycat会进行3次心跳检测,如果3次都没有响应,则会自动切换到第二个主节点-->
<!--并且会更新/conf/dnindex.properties文件的主节点信息 localhost1=0 表示第一个节点.该文件不要随意修改否则会出现大问题-->
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select 1</heartbeat>
<!--配置第一台主机主要进行写库操作,在默认的条件下Mycat主要操作第一台主机在第一台主机中已经实现了读写分离.因为默认写操作会发往137的数据库.读的操作默认发往141.如果从节点比较忙,则主节点分担部分压力.
-->
<writeHost host="hostM1" url="192.168.126.129:3306" user="root" password="root">
<!--读数据库1-->
<readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" />
<!--读数据库2-->
<readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" />
</writeHost>
<!--定义第二台主机 由于数据库内部已经实现了双机热备.-->
<!--Mycat实现高可用.当第一个主机137宕机后.mycat会自动发出心跳检测.检测3次.-->
<!--如果主机137没有给Mycat响应则判断主机死亡.则回启东第二台主机继续为用户提供服务.-->
<!--如果137主机恢复之后则处于等待状态.如果141宕机则137再次持续为用户提供服务.-->
<!--前提:实现双机热备.-->
<!--<writeHost host="hostM2" url="192.168.126.130:3306" user="root" password="root">
<readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" />
<readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" />
</writeHost>-->
</dataHost>
</mycat:schema>`
1.5 上传配置文件
说明: 将配置文件上传到mycat/conf目录中. 注意先删除原始文件
1.6 Mycat启动
说明: Mycat启动以来于 JDK环境, 进入bin目录中 执行如下命令
1.7 关于mycat 报错说明
通过 cat mycat.log| cat wrapper.log检查服务启动是否正确
1.8 项目测试
测试目录:
1.向数据库中添加记录,检查主从是否同步数据.
2.修改从库中的记录, 利用程序检查数据信息.检查是否有负载均衡效果.
3.修改之后,将数据更新保证数据一致即可.
1.9 双机热备
1.9.1 说明
由于数据库中的主库由于特殊的原因可能宕机,则通过双机热备的形式配置为互为主从.
实现数据库高可用的前提条件: 实现数据库主从同步…
1.9.2 双机热备的配置
IP: 192.168.126.129 之前主库 , 现在当从库
IP: 192.168.126.130 之前从库 , 现在当主库
1.主库130配置:
`/*130配置 今天当主库*/
SHOW MASTER STATUS;`
2.从库129配置
`/*设置129为从库*/
CHANGE MASTER TO
MASTER_HOST="192.168.126.130",
MASTER_PORT=3306,
MASTER_USER="root",
MASTER_PASSWORD="root",
MASTER_LOG_FILE="mysql-bin.000001",
MASTER_LOG_POS=468;
/*启动主从服务*/
START SLAVE;
/*检查主从状态*/
SHOW SLAVE STATUS;`
1.9.3 实现数据库高可用
编辑schema配置信息:
`<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!--name属性是自定义的 dataNode表示数据库的节点信息 jtdb表示逻辑库-->
<schema name="jtdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="jtdb"/>
<!--定义节点名称/节点主机/数据名称-->
<dataNode name="jtdb" dataHost="localhost1" database="jtdb" />
<!--参数介绍 UTF-8 中文报错 使用单行注释 -->
<!--balance 0表示所有的读操作都会发往writeHost主机 -->
<!--1表示所有的读操作发往readHost和闲置的主节点中-->
<!--writeType=0 所有的写操作都发往第一个writeHost主机-->
<!--writeType=1 所有的写操作随机发往writeHost中-->
<!--dbType 表示数据库类型 mysql/oracle-->
<!--dbDriver="native" 固定参数 不变-->
<!--switchType=-1 表示不自动切换, 主机宕机后不会自动切换从节点-->
<!--switchType=1 表示会自动切换(默认值)如果第一个主节点宕机后,Mycat会进行3次心跳检测,如果3次都没有响应,则会自动切换到第二个主节点-->
<!--并且会更新/conf/dnindex.properties文件的主节点信息 localhost1=0 表示第一个节点.该文件不要随意修改否则会出现大问题-->
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select 1</heartbeat>
<!--配置第一台主机主要进行写库操作,在默认的条件下Mycat主要操作第一台主机在第一台主机中已经实现了读写分离.因为默认写操作会发往137的数据库.读的操作默认发往141.如果从节点比较忙,则主节点分担部分压力.
-->
<writeHost host="hostM1" url="192.168.126.129:3306" user="root" password="root">
<!--读数据库1-->
<readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" />
<!--读数据库2-->
<readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" />
</writeHost>
<!--定义第二台主机 由于数据库内部已经实现了双机热备.-->
<!--Mycat实现高可用.当第一个主机137宕机后.mycat会自动发出心跳检测.检测3次.-->
<!--如果主机137没有给Mycat响应则判断主机死亡.则回启东第二台主机继续为用户提供服务.-->
<!--如果137主机恢复之后则处于等待状态.如果141宕机则137再次持续为用户提供服务.-->
<!--前提:实现双机热备.-->
<writeHost host="hostM2" url="192.168.126.130:3306" user="root" password="root">
<readHost host="hostS1" url="192.168.126.130:3306" user="root" password="root" />
<readHost host="hostS2" url="192.168.126.129:3306" user="root" password="root" />
</writeHost>
</dataHost>
</mycat:schema>`
1.9.4 配置策略
1).关闭mycat服务器
2).编辑schema配置文件
3).重启mycat
1.9.5 测试高可用
1).关闭主数据库.
2).测试程序是否运行正常.
3).重启主数据库检查数据是否同步.
2.学习Redis缓存
2.1 缓存机制说明
2.2 缓存机制原理说明
缓存机制:
缓存中的数据,一定是数据库中的数据,使用缓存主要的目的就是降低用户访问物理设备的频次.
如果数据库记录更新,则缓存应该同步更新.
1.缓存的数据结构 K-V结构进行数据保存
- 开发语言选择 C语言程序
- 缓存数据的运行环境在内存中, 断电即擦除. 将内存数据进行持久化操作.
- 如果不停的添加缓存的记录肯定会造成内存溢出. 定期优化缓存机制.
1.LRU算法 2.LFU算法 3.Random 4.TTL
- 缓存也需要实现高可用机制.搭建缓存集群.
2.3 Redis介绍
2.3.1 官网介绍
URL地址: http://www.redis.cn
Redis 是一个开源（BSD许可）的 内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。
效率: 读: 11.2万次/秒 写: 8.6万次/秒 平均:10万次/秒
口诀: 1-5-8
2.3.2 知识扩展
1.数据库:
1.关系型数据库 mysql数据库/oracle数据 2维表 行/列
2.非关系型数据库 mongodb/hbase/Redis 1维表
- 中间件:
50万次/秒 吞吐量
2.4 Redis安装
2.4.1 上传安装包
2.4.2 解压redis
说明: tar -xvf redis-5.0.4.tar.gz 解压完成之后删除安装包/ 修改文件名称
2.4.3 安装redis
说明: 在redis根目录中执行如下命令
命令: 1. make
2.make install
2.4.4 进制换算
1k => 1000 bytes
1kb => 1024 bytes
1m => 1000000 bytes
1mb => 1024_1024 bytes
1g => 1000000000 bytes
1gb => 1024_1024*1024 bytes
2.4.4 修改Redis配置文件
1).修改IP绑定
2).关闭保护模式
3).开启后端运行
2.4.5 服务器命令
- 启动redis redis-server redis.conf
- 进入客户端 redis-cli -p 6379 exit 退出|quit|ctrl+c
- 关闭redis redis-cli -p 6379 shutdown
2.4.6 客户端命令
说明: 根据文档练习redis命令
复习AOP相关知识.
java
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。