注:ES是Java开源项目,预先安装Jre和NodeJS。
一、介绍
Elasticsearch是基于Apache Lucene的开源搜索引擎,目前被认为是最先进、性能最好、功能最全的搜索引擎。
1、名词
分片:集群中节点存放文档的地方,分片保存在不同节点可用于数据恢复,每个分片占用的CPU、RAM、IO越高索引速度就越快
index(索引): 类似数据库,多个索引就代表多个数据库
type(类型): 类似表名
mapping :表结构
doc(文档):数据,一条Json数据为一个文档
ES Json :ES API请求模板,用于索引数据,格式ES有严格规定(不同版本有区别)
filter(过滤):ES有俩种查询模式,一是根据条件查询(速度慢),二全部查询后再条件过滤
aggs(聚合):类似数据库的group by
,可多个聚合嵌套使用
二、安装配置
以下为单节点配置:
1、下载 ES压缩包,解压到本地。
2、打开/ES/config/下 elasticsearch.yml
为了显示整洁,去掉了注释和没使用的配置项
# ---------------------------------- Cluster -----------------------------------
cluster.name: elasticsearch #ES根据此名将节点放到集群中
# ------------------------------------ Node ------------------------------------
node.name: node-master #节点名称,集群需更改!!!
# ----------------------------------- Paths ------------------------------------
#path.data: /path/to/data
#path.logs: /path/to/logs
# ----------------------------------- Memory -----------------------------------
#bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
network.host: 127.0.0.1 #节点绑定的ip
transport.tcp.port: 9301 #集群需更改!!!
http.port: 9401 #集群需更改!!!
# --------------------------------- Discovery ----------------------------------
#discovery.zen.ping.unicast.hosts: ["host1", "host2"] #主节点列表
##########Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1):##########
discovery.zen.minimum_master_nodes: 1 #至少1个主节点
# ---------------------------------- Gateway -----------------------------------
#gateway.recover_after_nodes: 3
# ---------------------------------- Various -----------------------------------
#action.destructive_requires_name: true
1、命令
1、命令行到/ES/bin/下,运行 elasticsearch
或 elasticsearch -d
隐藏运行
2、非隐藏运行可使用 Ctrl+C
关闭。隐藏模式可使用 ps -ef | grep elastic
或 jps
查看进程号
3、当集群中的节点出现红色Unassigned,则检查处理问题(节点状态可使用下面的ES插件进行观察等其它操作)
(1)查看集群相关信息
curl "localhost:9401/_nodes/process?pretty"
(2)找出 UNASSIGNED 相关信息
curl -XGET localhost:9401/_cat/shards|grep UNASSIGNED
(3)依次修改以上UNASSIGNED
curl -XPOST 'localhost:9401/_cluster/reroute' -d '{
"commands" : [ {
"allocate" : {
"index" : "graylog_83",
"shard" : 1,
"node" : "Auq82gfGQVWgOBw6S7ajRQ",
"allow_primary" : true
}
}]
}'
2、安装ES监控
1、下载开源项目 elasticsearch-head
2、进入到elasticsearch-head下,命令行 npm install grunt-cli
安装grunt客户端
3、在elasticsearch-head下打开Gruntfile.js
4、运行监控插件及结果
三、ES Api
1、创建索引
{
"student": {
"properties": {
"no": {
"type": "string",
"fielddata": true,
"index": "analyzed"
},
"name": {
"type": "string",
"index": "analyzed"
},
"age": {
"type": "integer"
},
"birth": {
"type": "date",
"format": "yyyy-MM-dd"
},
"isLeader": {
"type": "boolean"
}
}
}
}
然后用REST方式调用ES接口创建索引和类型:
ES监控插件上显示:
2、bulk批处理
bulk API 允许在单个步骤中进行多次 create 、 index 、 update 或 delete 请求。
curl -XPOST "http://172.16.13.4:9401/_bulk?pretty" -d '
{"delete": {"_index": "megacorp", "_type": "employee", "_id": "2"}}
{"create": {"_index": "megacorp", "_type": "employee", "_id": "2"}}
{"name": "first"}
{"index": {"_index": "megacorp", "_type": "employee"}}\n
3、ES分析器
分析器包括三个功能:字符过滤器(过滤掉HTML,特殊符号转换)、分词器也叫分析器(标准分析器、简单、空格、语言分析器)、token过滤器(删除改变无用词)。具体详见这章 ES分析器。
四、ES集群
配置很简单就不做详细说明了,原理跟redis集群差不多,判断节点超时、投票选取主节点。
#####################################主节点1#####################################
# ---------------------------------- Cluster -----------------------------------
cluster.name: alex-es
# ------------------------------------ Node ------------------------------------
node.name: node1
node.master: true
node.data: true
# ----------------------------------- Path ------------------------------------
path.data: /path/to/data
path.logs: /path/to/logs
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
network.host: 172.16.13.4
transport.tcp.port: 9301
transport.tcp.compress: true
http.port: 9401
http.max_content_length: 100mb
http.enabled: true
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping.unicast.hosts: ["172.16.13.4:9301", "172.16.13.4:9302"]
# ---------------------------------- Gateway -----------------------------------
gateway.recover_after_nodes: 3
gateway.recover_after_time: 5m
gateway.expected_nodes: 3
#####################################主节点2#####################################
# ---------------------------------- Cluster -----------------------------------
cluster.name: alex-es
# ------------------------------------ Node ------------------------------------
node.name: node2
node.master: true
node.data: true
# ----------------------------------- Path ------------------------------------
path.data: /path/to/data2
path.logs: /path/to/logs2
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
network.host: 172.16.13.4
transport.tcp.port: 9302
transport.tcp.compress: true
http.port: 9402
http.max_content_length: 100mb
http.enabled: true
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping.unicast.hosts: ["172.16.13.4:9301", "172.16.13.4:9302"]
# ---------------------------------- Gateway -----------------------------------
gateway.recover_after_nodes: 3
gateway.recover_after_time: 5m
gateway.expected_nodes: 3
#####################################子节点######################################
# ---------------------------------- Cluster -----------------------------------
cluster.name: alex-es
# ------------------------------------ Node ------------------------------------
node.name: node3
node.master: false
node.data: true
# ----------------------------------- Path ------------------------------------
path.data: /path/to/data3
path.logs: /path/to/logs3
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
network.host: 172.16.13.4
transport.tcp.port: 9303
transport.tcp.compress: true
http.port: 9403
http.max_content_length: 100mb
http.enabled: true
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping.unicast.hosts: ["172.16.13.4:9301", "172.16.13.4:9302"]
# ---------------------------------- Gateway -----------------------------------
gateway.recover_after_nodes: 3
gateway.recover_after_time: 5m
gateway.expected_nodes: 3
以上配置信息不能包含空格,配置好后,全部启动,在ES-head上监控显示:
五、ES客户端问题
官方提供了基于Python、Java等语言的客户端,其中实现了对es连接池轮训、查询、索引、批量等操作。
由于最近在用多进程并发查询es的功能,当请求数量在一段时间内增加时,会有多个进程的响应超时的问题。
经过调查,已排查掉以下可能存在的问题:
1、Java GC机制问题(包括并发GC、FullGC、GCone等),因为根据GC的机制不同,会影响es的性能
2、es队列大小
3、进程池,基本上是同一时间异步调用es查询,所以这个不存在问题
4、CPU内存及es配置优化等
最后在服务器上抓包发现,部分请求要经过一定时间才能传到es上,而且随着请求数量加大,时间间隔有递增趋势,这样问题就定位在es客户端发送请求那。
经过一番研究,可能是es客户端所采用的传输协议会导致请求时间延长,最后决定用Python的 pycurl 来代替es客户端,下面是代码,可以自己实现es轮训:
import pycurl
import StringIO
import random
def es_pool():
return ["ip:port", "ip:port"]
# curl请求
def curl_req(index='', rtype='', body=''):
s = StringIO.StringIO()
c = pycurl.Curl()
es_hosts = es_pool()
host = es_hosts[random.randint(0, len(es_hosts)) % len(es_hosts)] # 根据es池大小随机选择
url = host + '/' + index + '/' + rtype + '/_search'
c.setopt(pycurl.URL, url)
c.setopt(pycurl.POST, 1)
c.setopt(pycurl.POSTFIELDS, body)
c.setopt(pycurl.WRITEFUNCTION, s.write)
c.perform()
c.close()
return s.getvalue()
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。