elasticsearch 如何更快速地导入数据?

利用下面的代码我把aaa.txt中的每一行导入到elasticsearch中,发现速度相比MySQL实在太慢了,不知道是不是因为它默认有索引的缘故。

from elasticsearch import Elasticsearch

es=Elasticsearch()
file=open("/home/allen/aaa.txt")
for text in file:
    es.create(index="info",doc_type="line",body={"content":text})
阅读 10.1k
1 个回答

还是认真回复一下吧:

1.用bulk来进行批量插入,不要一条一条插

2.在调用bulk前,修改index.refresh_interval为-1,刷新是成本比较高的操作,如果不改的话,可能在你插入的时候索引刷新会降低插入效率,调用完了记得再改回去

另外,es的问题还是去es的社区(比如elasticsearch.cn)提问能更好的得到回复,不是黑,但sf毕竟是综合社区,以上。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏