yii2-elasticsearch(4)elasticsearch和mysql 的数据同步

zebrayoung

前言

之前安装的的es版本是5.4的,后来老是killed,可能是我配置的有问题,我又重装了一下,改成了5.0版本的。网站原本的数据库是mysql,要用es必须把数据同步过来,参考了一篇文章,使用了logstash-input-jdbc来同步。

logstash

之前文章已经安装过了java和es,这里就不说了。现在要安装logstash,要安装对应的版本,5.0版本

https://artifacts.elastic.co/downloads/logstash/logstash-5.0.0.tar.gz

logstash-input-jdbc

解压之后,我们要下载logstash的插件logstash-input-jdbc,我是直接通过logstash安装的

cd logstash-5.0.0/bin/
./logstash-plugin install logstash-input-jdbc

这个等待时间挺长的,不过还是成功了,还有其他的安装方式,请到参考文章中找

mysql驱动

我下载的版本是mysql-connector-java-5.1.42
官网地址:https://dev.mysql.com/downloa...
下载好之后解压

配置

在logstash-5.0.0/bin/下建立一个文件夹,名字你可随便起,先命名为logstash_jdbc_test,创建两个文件jdbc.conf,jdbc.sql

jdbc.conf的内容为

input {
  stdin {
  }
  jdbc {
  # mysql jdbc connection string to our backup databse  后面的test对应mysql中的test数据库
  jdbc_connection_string => "jdbc:mysql://localhost:3306/oldhd"
  # the user we wish to excute our statement as
  jdbc_user => "root"
  jdbc_password => "root"
  # the path to our downloaded jdbc driver
  jdbc_driver_library => "/usr/local/elasticsearch/mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar"
  # the name of the driver class for mysql
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  jdbc_paging_enabled => "true"
  jdbc_page_size => "50000"
#以下对应着要执行的sql的绝对路径。
  statement_filepath => "/usr/local/elasticsearch/logstash-5.0.0/bin/logstash_jdbc_test/jdbc.sql"
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
  schedule => "* * * * *"
#设定ES索引类型
  type => "contact"
  }
}

filter {
  json {
  source => "message"
  remove_field => ["message"]
  }
}

output {
  elasticsearch {
#ESIP地址与端口
  hosts => "localhost:9200"
#ES索引名称(自己定义的)
  index => "shiliucrm"
#自增ID编号
  document_id => "%{id}"
  }
  stdout {
#以JSON格式输出
  codec => json_lines
  }
}

jdbc.sql的内容为

select
  *
from
contact where update_time > :sql_last_value


启动

先确保你的es是开启的,然后启动logstash

cd logstash-5.0.0/bin/
./logstash -f ./logstash_jdbc_test/jdbc.conf

如果你的这个表里面的字段很多,这个时间可能会很长,有的字段里面有回车换行之类的字符如果没有转义,同步也会报错,所以同步不会成功的原因有很多,得自己排查,可以先取一小部分数据测试

问题

我这里有几个问题,希望有朋友帮我解答一下
1.logstash这个怎么同时同步多个mysql表,因为一个conf钟只配置了一个type,这个type指向一个sql,有什么方法可以同时开启多个同步的服务
2.使用es查询遇到的问题
这个shiliucrm索引下放着四个type,怎样同时查这四个type,并且每个type下面返回三个符合要求的文档,
我现在是分四次分别查询这四个type,size=3.这也太傻了,不会用,希望有人指点一下。

参考文章:
http://blog.csdn.net/laoyang3...
http://blog.csdn.net/yeyuma/a...

阅读 3.2k

232 声望
35 粉丝
0 条评论
232 声望
35 粉丝
文章目录
宣传栏