mysql同步es总结

搭建测试环境,低版本es:

下载elasticsearch2.3.3安装包。
下载地址：https://download.elastic.co/e...

安装elasticsearch-head插件,下载地址:
https://github.com/mobz/elast...

插件安装

head插件:
brew install node
npm install grunt --save-dev
npm install grunt-contrib-clean grunt-contrib-concat grunt-contrib-watch 
grunt-contrib-connect grunt-contrib-copy grunt-contrib-jasmine

到head插件目录，运行grunt server，启动head  9100

第一种方案 logstash-input-jdbc

1.安装logstash

此方案为定时扫描表进行同步方式,优点用户多,使用方便 缺点实时性不好，最少一分钟同步

安装前要求安装java环境

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
unzip logstash-5.5.0.zip

测试是否安装成功，屏幕数据将全部输出
./logstash -e 'input { stdin { } } output { stdout {} }'

安装logstash插件,logstash-input-jdbc

./logstash-plugin install logstash-input-jdbc

Validating logstash-input-jdbc
Installing logstash-input-jdbc 
Installed successfully

确保安装ruby gem

yum install gem

更换源

gem sources --add https://gems.ruby-china.org/ --remove https://gems.ruby-china.com/

gem sources -l 查看源是否更新

bin/logstash-plugin list 查看插件列表

配置

mkdir config-mysql

创建mysql.conf

mysql.conf

input {
    stdin {
    }
    jdbc {
      jdbc_connection_string => "jdbc:mysql://10.1.58.94:3306/test"
      jdbc_user => "root"
      jdbc_password => ""
      jdbc_driver_library => "/root/logstash-5.5.0/bin/config-mysql/mysql-connector-java-5.1.38.jar"
     jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement_filepath => "/root/logstash-5.5.0/bin/config-mysql/sync.sql"
      schedule => "* * * * *"
      type => "article"
      jdbc_default_timezone =>"Asia/Shanghai"
   }
}



output {
    elasticsearch {
        hosts => "10.1.58.94:9200"
        index => "synctest"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

实际同步sql文件 sync.sql

select
  id,name,is_deleted
from seas_article
where update_time >= :sql_last_value

elasticsearch外机访问需要在elasticsearch.yml配置:

network.bind_host: 0.0.0.0

运行(查看控制台扫描、添加纪录) 如果首次全亮同步,去掉配置文件中where条件

./logstash -f config-mysql/mysql.conf 

此处注意es要手动创建mapping,否则时间类可能插入报错

第二种方案 go-mysql-elasticsearch

基于binlog的同步方案,优点比较实时.缺点需要改造数据库配置

项目地址: https://github.com/siddontang...

首先查看mysql的binlog纪录形式

show variables like 'binlog_format%';

配置my.cnf

[mysqld]
log-bin=mysql-bin
binlog_format=row #binglog日志必须配置为row
server_id=1001 #此server_id必须与项目配置中相同
binlog-row-image=full

...

[mysqldump] #配置mysqldump命令首次全量同步
quick
max_allowed_packet=16M
user=root
password=xxxx

1.安装golang,设置gopath

2.安装项目

go get github.com/siddontang/go-mysql-elasticsearch
cd $GOPATH/src/github.com/siddontang/go-mysql-elasticsearch
make

3.创建river.toml配置最简化版

my_addr = "10.1.58.94:3306" #数据库地址
my_user = "root"  #数据库名
my_pass = "x x x" #密码，必须设置,否则无法运行

es_addr = "10.1.58.94:9200" #es地址 es必须配置network允许外网访问

data_dir = "./var"

stat_addr = "127.0.0.1:12800"

server_id = 1001 #server_id，必须和mysql配置一致

flavor = "mysql" 
mysqldump = "mysqldump"

[[source]]
schema = "test" #数据库

tables = ["seas_article"] #要同步的表

[[rule]]
schema = "test" #具体数据库
table = "seas_article" #具体单表
index = "synctest" #es index
type = "article" #es type

项目启动:

./bin/go-mysql-elasticsearch -config=./river.toml

查看控制台输出。

其他注意事项:

当修改表结构后,要删除./var/下面的信息

控制台日志