0

Python爬虫,大概3-5个线程并发运行,使用 elasticsearch-py 库的 bulk(**kwargs) 函数向阿里云的 Elasticsearch 插入数据,每秒大概几十条数据,分多个 bulk 批量插入数据。
elasticsearch的 index 只有8个字段,每个字段的数据长度都不到20字节,只有一个name字段使用ik分词。

同时使用Redis的hash类型和Elasticsearch记录相同的数据。
数据插入频率少的时候 Redis 和 Elasticsearch 记录的条数一样。
当插入频率加快时,Redis记录了2000+条,Elasticsearch只记录了400+,是什么限制了 Elasticsearch 的插入速度?

白菜1031 4.5k
10月17日提问
0 个回答

撰写答案

推广链接