Docker安装ELK8.x

Docker安装ELK集成镜像

一、下载ELK镜像

搜索镜像
docker search sebp/elk

[root@www ~]# docker search sebp/elk
NAME        DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
sebp/elk    Collect, search and visualise log data with …   1169                 [OK]
sebp/elkx   Collect, search and visualise log data with …   43                   [OK]

下载镜像
docker pull sebp/elk

[root@www ~]# docker pull sebp/elk
Using default tag: latest
latest: Pulling from sebp/elk
Digest: sha256:c5f1d0f845ab217ef509b8c6565d0c4a5dd8dea063a411b60dfb7c4508312aca
Status: Image is up to date for sebp/elk:latest
docker.io/sebp/elk:latest

---

二、修改系统配置

2.1 修改用户可打开的文件句柄数

vim /etc/security/limits.conf

# 在最后面追加下面内容

* soft nproc 65535
* hard nproc 65535
* soft nofile 65535
* hard nofile 65535

# elk hard nofile 65536
# elk soft nofile 65536

可以解决ELK启动报: ERROR: Elasticsearch did not exit normally - check the logs at /var/log/elasticsearch/elasticsearch.log错的问题

2.2 更改系统vm.max_map_count设置值

max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量
这个值需要调大一些
临时调整: sysctl -w vm.max_map_count=262144
永久调整: vim /etc/sysctl.conf

# 在末尾加上一行
vm.max_map_count=262144

更新配置
sysctl -p

查看更改后的值
sysctl -a | grep vm.max_map_count

# 查看
[root@localhost /]# sysctl -a | grep vm.max_map_count
vm.max_map_count = 262144

调大后可以消除elk启动时的错误: bootstrap check failure [1] of [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

三、拉取配置文件到宿主机

3.1 创建配置目录

为了方便修改， 将Docker容器中的配置映射到宿主机

# 创建elk配置文件目录
mkdir -p /data/elk/elasticsearch
mkdir -p /data/elk/logstash
mkdir -p /data/elk/kibana
mkdir -p /data/elk/elasticsearch/data
mkdir -p /data/elk/elasticsearch/config
# 创建elk日志文件目录（不成功）
# mkdir -p /data/elk/log/elasticsearch
# mkdir -p /data/elk/log/logstash
# mkdir -p /data/elk/log/kibana


# 创建文件(通过开启一个容器获取初始配置文件)
docker run -p 5601:5601 -p 9200:9200  -p 5044:5044 \
    -it \
    -e TZ="Asia/Shanghai" \
    -e ES_HEAP_SIZE="4g"  \
    -e ES_JAVA_OPTS="-Xms8g -Xmx8g" \
    -e "discovery.type=single-node" \
    -e LS_HEAP_SIZE="4g" --name elk sebp/elk

# 从容器中复制出ELK配置
docker cp elk:/var/lib/elasticsearch/ /data/elk/elasticsearch/data
docker cp elk:/etc/elasticsearch/ /data/elk/elasticsearch/config
docker cp elk:/opt/logstash/config /data/elk/logstash/config
docker cp elk:/etc/logstash/conf.d /data/elk/logstash/conf.d
docker cp elk:/opt/kibana/config /data/elk/kibana/config
docker cp elk:/opt/kibana/data /data/elk/kibana/data
mv /data/elk/elasticsearch/config/elasticsearch/* /data/elk/elasticsearch/config
rm -rf /data/elk/elasticsearch/config/elasticsearch/
mv /data/elk/elasticsearch/data/elasticsearch/* /data/elk/elasticsearch/data
rm -rf /data/elk/elasticsearch/data/elasticsearch/

# 复制完成后修改目录权限
cd /data/elk
chown -R 991:991 elasticsearch*
chown -R 992:992 logstash*
chown -R 993:993 kibana*
# 改日志目录权限
#cd /data/elk/log
#chown -R 991:991 elasticsearch*
#chown -R 992:992 logstash*
#chown -R 993:993 kibana*
#chmod 644 -R /data/elk/log

# 删除容器
docker stop elk
docker rm elk

四、创建容器

4.1 修改配置(可选)

本机是16G， 给eleasticsearch分一半
vim /data/elk/elasticsearch/config/jvm.options

# 找到
#-Xms4g
#-Xmx4g
# 改为
-Xms8g
-Xmx8g

4.2 启动一个新的ELK容器

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 \
-v /data/elk/logstash/config:/opt/logstash/config \
-v /data/elk/logstash/conf.d:/etc/logstash/conf.d \
-v /data/elk/elasticsearch/config:/etc/elasticsearch   \
-v /data/elk/elasticsearch/data:/var/lib/elasticsearch \
-v /data/elk/kibana/config:/opt/kibana/config \
-v /data/elk/kibana/data:/opt/kibana/data \
-it \
-e TZ="Asia/Shanghai" \
-e ES_HEAP_SIZE="4g"  \
-e ES_JAVA_OPTS="-Xms8g -Xmx8g" \
-e "discovery.type=single-node" \
-e LS_HEAP_SIZE="4g" --add-host host.docker.internal:host-gateway --name elk sebp/elk

## 日志映射还有权限问题。。。 暂时不加
#    -v /data/elk/log/kibana:/var/log/kibana \
#    -v /data/elk/log/logstash:/var/log/logstash \
#    -v /data/elk/log/elasticsearch:/var/log/elasticsearch \

查看容器日志
docker logs -f -t --tail=100 elk
进入docker容器
docker exec -it elk /bin/bash

参考链接：
启动ELK出错的一些解决方案https://segmentfault.com/a/1190000041901853

ELK设置登录密码: https://segmentfault.com/a/1190000041902021

Logstash文档: https://www.elastic.co/guide/en/logstash/current/index.html
ElasticSearch文档: https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

删除索引

531  curl --user elastic:ME%Yv1d*hS -XDELETE http://localhost:9200/wt-product-service-prod_index_2023.04
  532  curl --user elastic:ME%Yv1d*hS -XDELETE http://localhost:9200/wt-product-service-prod_index_2023.03