OGG实现两台Mysql之间的数据同步（Linux系统）

头像
格雷福斯
    阅读 6 分钟
    2
    头图

    一. OGG同步介绍

    • OGG 是一种基于日志的结构化数据复制软件
    • OGG 能够实现大量数据的实时捕捉、投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟

    二. OGG部署

    • 在一个典型的OGG环境中，会有两个数据库存在，同时也会有两个OGG实例运行
    • OGG支持远端部署，即OGG软件不安装在数据库主机上，而是安装在单独的机器上，负责数据抽取和投递，但是OGG不支持以源端数据库为MySQL的远程抽取与投递

    一. OGG同步原理

    • OGG同步过程大致为源端OGG负责抽取源端数据库变化数据，并将变化数据投递至目标端OGG，目标端OGG负责解析并持久化到目标数据库，进程如下：
    进程功能运行位置
    Manager启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。在目标端和源端有且只有一个Manager进程源端OGG、目标端OGG
    Extract负责从源端数据表或者日志中捕获数据,保存在Source Trail文件中源端OGG
    Data Pump用于抓取Source Trail，把trail以数据块的形式通过TCP/IP 协议发送到目标端OGG源端OGG
    Replicat是数据传递的最后一站，负责读取目标端trail文件中的内容，并将其解析为DML或 DDL语句，然后应用到目标数据库中目标端OGG

    三. OGG下载与安装

    • OGG版本选择：Oracle GoldenGate 21.1.0.0.1 for MySQL on Linux x86-64
    • OGG安装：将下载的OGG压缩包本地进行zip解压，上传其中的 ggs_Linux_x64_MySQL_64bit.tar 到Linux服务器中自定义的ogg文件夹中，直接进行解压即可（tar -xvf ggs_Linux_x64_MySQL_64bit.tar）

    • 使用ggsci创建ogg相关子目录：
      首先输入./ggsci进入ggsci

      然后输入create subdirs 命令创建相关子目录

      如果第一步输入./ggsci无法进入，请输入ldd ggsci查看依赖关系
      下图为无法进入的情况(我的问题是因为下载OGG版本错误，网上大部分文章都是缺少libnnz11.so这个大同小异，如果出现了可以按这些文章去处理)

      下图为正常安装能进入ggsci

    四. OGG源端配置

    • 配置管理进程Manager
    #输入配置管理进程命令
GGSCI (localhost.localdomain) 1> edit param mgr
#指定端口号
port 7809 
#绑定可用端口列表 
dynamicportlist 7840-7939  
#定时清理trail文件
purgeoldextracts /ogg/dirdat/*,usecheckpoints, minkeepdays 1 

#输入启动管理进程命令（关闭：stop mgr ）
GGSCI (localhost.localdomain) 2> start mgr
Manager started.

#输入查看状态命令查看是否启动
GGSCI (localhost.localdomain) 3> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING

    下图为实际操作

    • 配置抽取进程Extract
    #输入配置抽取进程命令
GGSCI (localhost.localdomain) 2> edit param exta
#定义抽取进程名称
extract exta  
#指定OGG连接数据库的地址、账户与密码
sourcedb shop_system@192.168.16.99:3306 userid ogg password ogg
#指定写入到本地的哪个队列
exttrail /ogg/dirdat/ea
#定义discardfile文件位置，如果处理中有记录出错会写入到此文件中
discardfile  /ogg/dirrpt/exta.dsc,append  
#指定在解析数据库日志时所需要的特殊参数
TranLogOptions AltLogDest /mysql/binlog/master-bin.index 
#定义需复制的表，后面需以;结尾
table shop_system.*;

GGSCI (localhost.localdomain) 5> add extract exta,tranlog,begin now  
EXTRACT added.

#添加抽取源文件位置和大小
GGSCI (localhost.localdomain) 6> add exttrail /ogg/dirdat/ea,extract exta  
EXTTRAIL added.

    下图为实际操作

    • 配置投递进程Data Pump
    GGSCI (localhost.localdomain) 15> edit param dmpa 
#定义投递进程名
extract dmpa 
passthru 
#源端数据库地址、用户名 
sourcedb shop_system@192.168.16.99:3306 userid ogg password ogg  
#目标端地址
rmthost  192.168.10.12,mgrport 7809,compress 
# 指定写入文件
rmttrail  /ogg/dirdat/da  
dynamicresolution  
numfiles 3000  
#投递的表
table shop_system.test_ogg; 

GGSCI (localhost.localdomain) 16> add extract dmpa ,exttrailsource /ogg/dirdat/ea  
EXTRACT added.

GGSCI (localhost.localdomain) 17> add rmttrail /ogg/dirdat/da,extract dmpa 
RMTTRAIL added.

    下图为实际操作

    • 配置数据结构不一致时的表定义文件
    GGSCI (localhost.localdomain) 23> edit param defgen  
defsfile ./dirdef/testdb.def  
sourcedb point_manager@192.168.10.11:3306 userid ogg, password ogg  
table point_manager.test_ogg;  

GGSCI (localhost.localdomain) 26> exit

    生成表定义文件（生成成功后复制一份到目标端OGG的dirdef目录下）

    [root@masterdb ogg]# ./defgen paramfile ./dirprm/defgen.prm

    五. OGG目标端配置

    • 配置管理进程Manager
    GGSCI (localhost.localdomain) 3> edit param mgr
port 7809  
dynamicportlist 7840-7939  
purgeoldextracts /ogg/dirdat/*,usecheckpoints, minkeepdays 1 

GGSCI (localhost.localdomain) 5> start mgr
Manager started.

GGSCI (localhost.localdomain) 6> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING
    • 配置检查表
    GGSCI (localhost.localdomain) 9> dblogin sourcedb shop_system@192.168.10.12:3306 userid ogg password ogg 
Successfully logged into database.

GGSCI (localhost.localdomain DBLOGIN as root) 10> add checkpointtable shop_system.checkpoint  

Successfully created checkpoint table shop_system.checkpoint.

GGSCI (localhost.localdomain DBLOGIN as root) 11> edit params ./GLOBALS 
checkpointtable shop_system.checkpoint

    • 配置应用进程Replicat
    GGSCI (slavedb DBLOGIN as ogg) 13> edit params repa
#定义应用进程名称
replicat repa 
#配置目标端数据库地址、用户名和密码
targetdb testdb_repl@192.168.10.12:3306 userid ogg password ogg  
handlecollisions  
#假定两端数据结构不一致，使用此参数指定源端的数据结构定义文件，该文件需要由GlodenGate工具产生
sourcedefs /ogg/dirdef/testdb.def
#定义discardfile文件位置，如果处理中有记录出错会写入到此文件中，建议参数值1024m  
discardfile /ogg/dirrpt/repa.dsc,purge
#用于指定源端与目标端表的映射关系  
map point_manager.test_ogg, target shop_system.test_ogg;
 
GGSCI (slavedb DBLOGIN as ogg) 16> add replicat repa,exttrail /ogg/dirdat/da,checkpointtable testdb_repl.checkpoint
REPLICAT added.

    下图为实际操作

    随后进入ggsci启动源端抽取进程、投递进程和目标端的应用进程，随后在源端数据库手动插入数据查看目标数据库是否完成了同步

    start exta
start dmpa
start repa

    六. 同步数据结构变化总结

    目前没有找到源端数据结构修改不影响现有同步进程的方法

    • 源端数据表与目标端数据表结构不一致则会导致源端抽取进程中断，需先处理源端与目标端的数据结构保持一致，随后重启抽取进程。（如果是字段的类型的修改可自动转换的则不会失败，否则会失败）
    • 目标端DB表增加或减少字段则不会影响同步
    • 重启：使用stop +进程名 停止服务，如果不能停止的话使用delete+进程名直接删除，随后重新配置进程并启动
    • 指定同步列：如果我们只想同步一张表中的某些字段，我们可以指定我们需要同步的列，修改抽取进程exta如下图（但是从测试的结果来看不能解决源表后期增加字段不影响同步的问题）
    • 多表同步：在涉及配置table的一行下边直接追加新的一行配置需要同步的表,方式与原来相同table+ 数据库.表
    oggmysqllinux
    格雷福斯
    9 声望2 粉丝

    引用和评论

    推荐阅读
    头像
    如何实现一个楼中楼的评论系统

    小蚊酱赞 24阅读 10.6k

    头像
    在Java程序中监听mysql的binlog

    huan1993赞 11阅读 2.9k

    头像
    Mysql数据库sql优化案例

    杜若赞 5阅读 2.9k

    头像
    一份简单i3wm配置

    notusednow赞 2阅读 28.6k

    头像
    Docker 万字入门教程

    Java陈序员赞 4阅读 1.4k

    头像
    高效工程师的七个习惯

    Bytebase赞 3阅读 1.4k

    头像
    MySQL 回收表碎片实践教程

    MySQL技术赞 2阅读 395

    0 条评论
    得票最新