利用下面的代码我把aaa.txt
中的每一行导入到elasticsearch中,发现速度相比MySQL实在太慢了,不知道是不是因为它默认有索引的缘故。
from elasticsearch import Elasticsearch
es=Elasticsearch()
file=open("/home/allen/aaa.txt")
for text in file:
es.create(index="info",doc_type="line",body={"content":text})
还是认真回复一下吧:
1.用bulk来进行批量插入,不要一条一条插
2.在调用bulk前,修改index.refresh_interval为-1,刷新是成本比较高的操作,如果不改的话,可能在你插入的时候索引刷新会降低插入效率,调用完了记得再改回去
另外,es的问题还是去es的社区(比如elasticsearch.cn)提问能更好的得到回复,不是黑,但sf毕竟是综合社区,以上。