SpringBoot应用整合并使用Docker安装ELK实现日志收集_铛铛响_docker elk

网络投稿 02-07 754

零、docker 和 docker-compose 环境

略

本文内容主要围绕以下两点： 1、搭建的两种方式 2、自己整合一下以及遇到的问题，和多个项目的日志配置，以及日志的过期配置，还有线上环境的一整套流程。

一、使用Docker Compose 搭建ELK环境

可以参考文章 SpringBoot应用整合并使用Docker安装ELK实现日志收集这种方式就是参考他的。

1.1、拉去elk 镜像

根据项目依赖的版本pull对应的版本，注意 ELK版本必须完全一致（建议一致）

docker pull elasticsearch:7.12.1 docker pull logstash:7.12.1 docker pull kibana:7.12.1 1.2、创建存放elk数据挂载位置 mkdir /opt/elk/logstash mkdir /opt/elk/es mkdir /opt/elk/kibana

1.3、创建logstash的数据转化格式配置 cd /opt/elk/logstash vim logstash-springboot.conf

1、内容如下，注意这里的applicationName 就是后面我们可以在spring-boot的appender中可以自定义的参数，传到这里来，这个我在之前的原生elk搭建文章中有说过。原生elk搭建和springBoot使用

2、注意TCP的那个prot 4560，我们可以配置多个，而且我们在 logback-spring.xml文件中也可以指定，你可以看到参考的这个文章，里面有很多，不同的级别分到不同的端口中。

input { tcp { mode => "server" host => "0.0.0.0" port => 4560 codec => json_lines } } output { elasticsearch { hosts => "es:9200" index => "%{[applicationName]}-%{+YYYY.MM.dd}" } }

1.4、使用docker-compose.yml 脚本启动ELK服务

1、创建docker-compose启动文件

cd /opt/elk vim docker-compose.yml

2、内容如下，具体内容注释的很清楚了，就不再阐述了

version: '3' services: elasticsearch: image: elasticsearch:7.12.1 container_name: elasticsearch environment: - "cluster.name=elasticsearch" #设置集群名称为elasticsearch - "discovery.type=single-node" #以单一节点模式启动 - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小 volumes: - /opt/elk/es/plugins:/usr/share/elasticsearch/plugins #插件文件挂载 - /opt/elk/es/data:/usr/share/elasticsearch/data #数据文件挂载 ports: - 9200:9200 - 9300:9300 kibana: image: kibana:7.12.1 container_name: kibana links: - elasticsearch:es #可以用es这个域名访问elasticsearch服务 depends_on: - elasticsearch #kibana在elasticsearch启动之后再启动 environment: - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址 ports: - 5601:5601 logstash: image: logstash:7.12.1 container_name: logstash volumes: - /opt/elk/logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件 depends_on: - elasticsearch #kibana在elasticsearch启动之后再启动 links: - elasticsearch:es #可以用es这个域名访问elasticsearch服务 ports: - 4560:4560

3、执行docker-compose命令运行elk，需要在docker-compose.yml文件目录下执行，默认找的就是这个文件名

docker-compose up -d

4、启动完成后在logstash中安装json_lines插件，因为我们在2560端口使用的使用tcp，并配置了json_lines插件，所以需要安装一下

# 进入logstash容器 docker exec -it logstash /bin/bash # 进入bin目录 cd /bin/ # 安装插件 logstash-plugin install logstash-codec-json_lines # 退出容器 exit # 重启logstash服务 docker restart logstash

5、访问 http://192.168.160.50:5601 kibana 页面。

1.4、将spring-boot 日志传输过去

1、pom文件

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency>  <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>5.3</version> </dependency>

2、我们可以在配置文件中自定义属性，在logback-spring.xml 文件中读取 3、配置es 地址

4、logback-spring.xml 文件，注意 destination ${LOG_STASH_HOST}:4560 destination ，这个里面是写了向4560的端口发的，和前面的logstahs.yml中一一对应。我们可以指定多个，看我们前面说的那个参考文章就有，他配置了很多个。

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration> <configuration>  <include resource="org/springframework/boot/logging/logback/defaults.xml"/>    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="asurplus"/>    <springProperty name="LOG_STASH_HOST" scope="context" source="logstash.host" defaultValue="192.168.160.50/"/> <springProperty name="LOGSTASH_ENV" scope="context" source="logstash.env" defaultValue="pro"/> <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"> <encoder> <pattern>${CONSOLE_LOG_PATTERN}</pattern> <charset>utf8</charset> </encoder> </appender>  <appender name="LOG_STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>${LOG_STASH_HOST}:4560</destination>   <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"> <providers> <timestamp> <timeZone>Asia/Shanghai</timeZone> </timestamp> </providers> <customFields>{"applicationName":"${APP_NAME}-${LOGSTASH_ENV}"}</customFields> </encoder> </appender>  <logger name="org.slf4j" level="INFO"/> <logger name="io.swagger" level="INFO"/> <logger name="org.springframework" level="INFO"/> <logger name="org.hibernate.validator" level="INFO"/> <springProfile name="dev"> <root level="INFO"> <appender-ref ref="CONSOLE"/> <appender-ref ref="LOG_STASH"/> </root> </springProfile> <springProfile name="test"> <root level="INFO"> <appender-ref ref="CONSOLE"/> <appender-ref ref="LOG_STASH"/> </root> </springProfile> <springProfile name="pro"> <root level="INFO"> <appender-ref ref="CONSOLE"/> <appender-ref ref="LOG_STASH"/> </root> </springProfile> </configuration> 二、使用github docker开源的方式搭建ELK环境（更全-推荐）

可以参考：使用 Docker 搭建 ELK 环境，里面可以借鉴不少，但是他的不是 7.17.3

当然我非常建议你看下 github的官方文档，说的很详细。 elk7.X

2.1、安装

0、如果你前面电脑用这种方式安装过这个elk，可能使用的他二点7.16或者其他版本的，一定要使用以下命令，清除一下，不然你就发现还有上次安装的遗留痕迹，最明显的就是密码居然是上次的，我这次在写博客从新安装的时候，就发现这个问题。所以官方文档还是一定要看的

docker-compose down -v

1、首先到github下载 elk7.X ，我这边安装的是7.X中最新的版本 7.17.3，当然也是可以修改版本的。在 .env 文件中。 2、修改镜像内存，因为默认初始化内存是 -Xmx256m -Xms1024m，实在太小了，启动起来很慢，而且后续如果我们需要在里面安装一些其他的插件，这个内存根本就不够，会抛出内存不足的异常，所以我们这里提前把内存调整大一些。

3、上传到Linux中，我将所有的内容都放到 /opt/elk 目录下

4、修改文件 .env 默认的密码，我们这样后续我们就不用重置密码了，当然你也可以不做这一步，后续按照官方的方式去重新随机设置密码，后面也有说。我这里直接修改.env 文件的默认初始密码换成 MdV12e5DLpnHq0X3

4、启动，在docker-compose.yml 目录下运行，因为我这个之前安装过一次，所以相关镜像都存在，所以这里没有显示下载镜像的步骤，如果你是第一次，就会有下载镜像的过程。

5、为了验证，我们可以使用浏览器或者 curl 等工具访问机器地址加端口号 9200，并使用默认用户名 elastic 和你前面设置的密码（当然如果你这里没改那就是 changeme）来访问 Elasticsearch HTTP 端口，如果一切正常，你将看到类似下面的结果

2.2、使用 Kibana 控制台

1、启动之后，我们使用浏览器访问服务器IP+端口5601，打开 kibana 控制台

2、关闭付费组件，打开设置界面，选择 Elasticsearch 模块中的 License Management ，可以看到默认软件会启动为期一个月的高级功能试用，我们选择“Revert to Basic license”，选择回退到基础版本，可以看到整个界面都简洁了不少，至此如果不付费的话，就可以安心合法的使用软件了。当然，你也可以在 elasticsearch.yml 配置文件中的 xpack.license.self_generated.type 修改为 basic 来禁用 X-Pack 相关功能。

xpack.license.self_generated.type: basic

3、用户角色管理，在这里我们就可以修改用户，赋予权限，以及创建角色等等。

2.3、项目springBoot 日志集成进去 2.3.1、修改logstash的数据转化格式配置

1、当然这个地方你也可以不修改，看自己的选择，如果不修改，使用默认的，最后的索引如下，就是默认以logstahs开头加上日期的格式，然后你可以直接跳到 springBoot 日志传输这一节，数据也是可以看到的。当然我强烈建议你修改以下，在后面的内容中我有提及。

2.3.3、springBoot 日志传输

1、具体的 logback-spring.xml 文件内容和上面的一样(此时那个自定义属性customFields就没有用了)，我就不再多说了。但是后面我发现一个问题，就是开启认证之后，我们传输数据也需要认证。这个是我看logstash的日志发现的，说 logstash_internal 这个用户没有对自动创建的索引写入的权限。因为内部默认使用的是这个用户，于是我当github官方下看了下，有人有遇到这个问题，并提出了，也解决了。 2、github 的issues 地址： logstash_internal user unauthorized on custom indices #687，快速临时解决方案：在堆栈管理/用户中的 ELK 中，将“elstic”用户的角色分配给“logstash_internal”用户，因为elastic 用户用的角色是超级管理员。我们给 logstash_internal 这个用户超级管理员的角色就可以暂时解决了.

3、登录我们的kibana 4、那这个时候，我们链接elastic也是需要账号密码的，就是正常的springBoot链接elastic的方式配置就好。

5、pom文件

1、如果需要改的话，则需要修改对应文件，而文件挂载在/opt/elk/docker-elk-release-7.x/logstash/pipeline目录下

2、修改之后内容如下，如果你使用了自定义属性，这个插件 json_lines 是要的，否则后面的 %{[applicationName]} 是解析不出来的。

input { beats { port => 5044 } tcp { port => 5000 codec => json_lines } } ## Add your filters / logstash plugins configuration here output { elasticsearch { hosts => "elasticsearch:9200" user => "logstash_internal" password => "${LOGSTASH_INTERNAL_PASSWORD}" index => "jt-%{[applicationName]}-%{+YYYY.MM.dd}" } } 2.4.2、安装json_lines插件

1、在logstash中安装json_lines插件，如果我使用了tcp，并配置了json_lines插件，所以需要安装一下，安装时间较长，可以稍微等下。

# 进入logstash容器 docker exec -it docker-elk-release-7x-logstash-1 /bin/bash # 进入bin目录 cd /bin/ # 安装插件 logstash-plugin install logstash-codec-json_lines # 退出容器 exit # 回到docker-compose.yml 目录下后重启服务 cd /opt/elk/docker-elk-release-7.x docker-compose restart

2、但是如果你安装的不是那么顺利，比如报错 message: certificate verify failed，那么你可以关闭这个认证，参考文章： logstash-plugin install报错message: certificate verify failed

进入到logstash内部后，进入目录 /opt/logstash/lib/pluginmanager，修改上述文章所说的文件内容即可但是这个容器内部没有vi和vim ，你可以使用对应的解决方案，或者将文件copy出来，再替换进去 # 将install.rb 文件copy 至 opt 目录下 docker cp docker-elk-release-7x-logstash-1:/opt/logstash/lib/pluginmanager/install.rb /opt # 将修改后的 install.rb 文件copy 上传至docker内部中 docker cp /opt/install.rb docker-elk-release-7x-logstash-1:/opt/logstash/lib/pluginmanager/ 2.4.3、安装json_lines插件的好处

下面我用两张图来说明一下：

2.4.4、数据挂载的位置

1、大家可能都已经习惯了直接挂载位置的方式，但是其实还有一种方式，就是使用docker创建挂载卷，然后，在镜像中使用，docker-elk-release-7.x 中两种都使用了，配置文件是直接挂载的具体目录，数据则是使用的挂载卷，大家可以参考 docker-compose 中volumes参数说明这篇文章，其实这个和docker-compose 没有太大关系，因为这个本身就是docker自身的功能。

2、下面我展示一下elasticsearch的挂载数据位置。如图可以看到具体的数据位置在 /var/lib/docker/volumes/docker-elk-release-7x_elasticsearch/_data 目录下。

三、日志数据的保存，到期自动删除

无论你使用哪一种方式安装使用，但是日志还是需要定期删除的，不然存储会越来越大。这里参考的文章是 Kibana7.9.2设置elasticsearch索引过期时间，到期自动删除，我这里主要说些7.17.3遇到的问题。