怎么同步数据库的数据到elasticsearch

Question

数据库里的产品表和许多其他表关联，在搜索产品的时候可能需要其它表的一些信息。所以在索引数据时，我是先将关联的信息取出来，然后索引到es中，5000条一次，做批次处理数据，但是耗费的时间长，请问还有其它的访问同步数据么？最近刚用这个，望熟悉的前辈给点建议。

Answer 1

写个脚本，数据库里面搞个触发器，如果数据有变动，更新下操作时间，脚本里面根据上一次的更新时间来同步数据到ec 插入到ec的数据最好是批量插入，，我测试过插入20多万耗时1分钟

Answer 2

导入数据有2种方式:
1.将数据转为json格式导入，如果数据较大，可以分割存在多个json文本导入；
2.使用插件ES-jdbc导入。
详情请看 链接

Answer 3

通过 http://www.continuent.com/sol... 这个导数据到es

Answer 4

先新建一张表，用来存储关联之后的数据。然后再导入es。 这样的话就问题简单话了，可以用中间件，来把数据从mysql导入到es。有数据更新或添加时，mysql继续工作，kafka将数据往es里写。

Answer 5

elasticsearch-jdbc链接描述

Answer 6

通过id offset，遍历数据库表，并且通过es的bulk api 批量处理插入