黑马程序员—Elasticsearch—ELK_张老师的分享

大大的周 02-07 3742

视频地址

一：Elastic Stack 简介（1～2） 1.：Elastic Stack 简介

?? 1）名称来源 ?? 2）技术栈组成 ?? 3）Elastic stack 每个组件的作用 ?? 4）四个技术具体解释

二：es—快速入门（3～13）三：核心讲解（14～22）四：全文搜索（23～27）五：集群（28～34）六：Java 客户端 & 课程总结（35～38）

参考：https://blog.csdn.net/qq_43056248/article/details/123048092

七：ELK 课程介绍 & 安装 Nignx（39～41） 1.：Nginx 日志分析系统：

?? 1）项目需求： ?? 2）业务流程 & 说明： ?? 3）说明：

2.：部署安装 Nginx tar -zxvf nginx-1.21.0.tar.gz // 安装依赖环境 yum -y install gcc yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel // 安装 ./configure make make install // 启动 cd /usr/local/nginx/sbin/ ./nginx // 通过浏览器访问首页，并查看日志： http://192.168.124.11:80/ tail -f /usr/local/nginx/logs/access.log

八：Beats 简介 & Filebeat 入门（42～49） 1.：Beats 简介

?? 1）Elastic Stack 的组成： ?? 2）官网介绍：https://www.elastic.co/beats/ ????-1：Filebeat ????-2：Metricbeat

2.：介绍：Filebeat 采集日志文件

3.：Filebeat：架构：

?? 1）用于监控、收集服务器日志文件。 ?? 2）架构图、工作流程图。

4.：运行与部署：

?? 1）下载：https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.11.0-linux-x86_64.tar.gz ?? 2）解压：

mkdir /usr/local/beats tar -zxvf filebeat-7.11.0-linux-x86_64.tar.gz

?? 3）在 filebeat 目录下，创建一个配置文件：itcast.yml

1 filebeat.inputs: 2 - type: stdin -- 启用输入（标准输入） 3 enabled: true -- 开启 4 setup.template.settings: 5 index.number_of_shards: 3 -- 指定分片数 6 output.console: -- 输出（控制台） 7 pretty: true -- 输出美化 8 enable: true -- 输出启用

?? 4）启动 filebeat：

./filebeat -e -c itcast.yml -- 前台启动 ./filebeat -e -c itcast.yml -d "publish"

????-1：-e：输出到标准输出，默认是输出到 syslog 和 logs 下。 ????-2：-c：指定配置文件。 ????-3：-d：可以在控制台输出打印 debug 信息。（控制台打印：存储到 es 里的 json内容）（实际生产中，要去掉）。

?? 5）访问测试：控制台输入 hello ?? 6）运行结果如下：

5.：读取 Nginx 日志文件，输出到控制台：

?? 1）配置 itcast-nginx.yml：

filebeat.inputs: - type: log enabled: true paths: -- 读取文件的路径 - /usr/local/nginx/logs/access.log setup.template.settings: index.number_of_shards: 3 -- 指定分片数量 output.console: pretty: true enable: true

?? 2）启动 filebeat：根据 itcast-nginx.yml：

// 启动 filebeat ./filebeat -e -c itcast-log.yml

?? 3）访问 Nginx，使之生成日志。 ?? 4）观察 filebeat 输出：（message） ????-1：可以看出，检测到 Nignx 日志文件有更新。 ????-2：立即就会读取到更新的内容，并且输出到控制台打印。

2022-02-24T20:03:24.877+0800 INFO log/harvester.go:302 Harvester started for file: /usr/local/nginx/logs/access.log { "@timestamp": "2022-02-24T12:03:24.877Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.11.0" }, "agent": { "hostname": "localhost", "ephemeral_id": "cfbbbe52-b4d3-4a60-9437-7bcf89122640", "id": "baa44686-68fa-48d2-9d5e-008844fa770a", "name": "localhost", "type": "filebeat", "version": "7.11.0" }, "log": { "offset": 1026, "file": { "path": "/usr/local/nginx/logs/access.log" } }, "message": "192.168.124.5 - - [24/Feb/2022:20:03:22 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"", "input": { "type": "log" }, "ecs": { "version": "1.6.0" }, "host": { "name": "localhost" } } 6.：自定义字段：配置读取文件项：itcast-log.yml filebeat.inputs: - type: log enabled: true paths: -- 读取文件的路径 - /usr/local/nginx/logs/access.log // 添加自定义 tag，便于后续的区分、处理 tags: ["nginx---1----nginx","nginx----2-----nginx"] // 添加自定义字段 fields: form: fields---1----fields // true：为添加到跟节点中。false：为添加到子节点中。 fields_under_root: true setup.template.settings: index.number_of_shards: 3 -- 指定分片数量 output.console: pretty: true enable: true

?? 1）添加 tags 后效果：

"message": "192.168.124.5 - - [26/Feb/2022:12:31:21 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"", "tags": [ "nginx---1----nginx", "nginx----2-----nginx" ],

?? 2）添加 fields 后效果：

-- false { "fields": { "form": "fields---1----fields" } } -- true { "form": "fields---1----fields" } 7.：读取 Nginx 日志，收集输出到 Elasticsearch

?? 1）修改配置： ?? 2）再次启动 filebeat： ?? 3）访问 Nginx，生成日志： ????-1：索引库以天为单位，划分存储： ????-2：查询es的状态、新增索引状态、数据： ?? 4）存在问题： ????-1：可以看到：在 message 中，已经获取到了 nginx 的日志，但是，内容并没有经过处理，只是读取到原数据。 ????-2：那么，对于我们后期的操作，是不利的，有办法解决吗？ ????-3：引入 Module：

"message": "192.168.124.5 - - [24/Feb/2022:20:03:22 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.109 Safari/537.36\"", 8.：Filebeat 工作原理：

????Filebeat 由两个主要组件组成：【 prospector 和 harvester】 ?? 1）harvester：【收割机】 ????-1：负责读取单个文件的内容。 ????-2：如果文件在读取时，被删除或重命名，Filebeat 将继续跟踪这个文件，继续读取这个文件。 ?? 2）prespector：【勘探者; 探矿者】 ????-1：prespector 负责管理 harverster。并找到所有要读取的文件来源。 ????-2：如果输入类型为日志，则查找器，将查找路径匹配的所有文件。并为每个文件，启动一个 harvester。 ????-3：Filebeat 目前支持两种 prospector 类型： ??????-：1、log（日志文件） ??????-：2、stdin（标准输入） ?? 3）Filebeat 如何保持文件的状态： ????-1： Filebeat 保存每个文件的状态，并经常将状态，刷新到磁盘上的注册文件中。（文件状态记录在 data/redistry 文件中。） ????-2：该状态，用于记住 harvester 正在读取文件最后的偏移量，并确保发送所有日志行。 ????-3：如果输出（例如：Elasticsearch 或 Logstash）无法访问，Filebeat 会跟踪最后发送的行，并在输出再次可用时，继续读取文件。再次发送数据。（Fliebeat 自动完成） ????-4：在 Filebeat 运行时，每个 prospector 内存中，也会保存的文件状态信息（减少文件保存次数，减少IO的开销）。 ????当重启 Filebeat 时，将使用注册文件的数据，来重建文件状态。Filebeat 将每个 harverster 在从保存的最后偏移量继续读取。

9.：Module 的使用

?? 1）前面：要想实现日志数据的读取，以及处理，都是手动配置的。 ???????其实，在 Filebeat 中，有大量的 Module，可以简化我们的配置，直接就可以使用，如下： ?? 2）查看 Module 列表：

./filebeat modules list

?? 3）启用 & 禁用 Nginx

./filebeat modules enable nginx ./filebeat modules disable nginx

?? 4）启用后查看：可以发现，已经被启用 ?? 5）nginx module 配置（Nginx.yml 未使用：.disabled 结尾，说明文件已启用） ????-1：修改 Module 文件：配置日志 & 错误日志地址

vim modules.d/nginx.yml 4 - module: nginx 5 # Access logs 6 access: 7 enabled: true // 安装日期存储，所以要使用 * 8 var.paths: [" /usr/local/nginx/logs/access.log*"] 9 15 error: 16 enabled: true 17 var.paths: [" /usr/local/nginx/logs/error.log*"]

????-2：配置 filebeat：（注释部分代码，添加新的 module 配置）

filebeat.inputs: #- type: log # enabled: true # paths: # - /usr/local/nginx/logs/access.log # tags: ["my-nginx"] setup.template.settings: index.number_of_shards: 3 output.elasticsearch: hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"] filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false

?? 6）启动 filebeat：有可能报错，执行提示即可：（安装依赖） ?? 7）访问 nginx，查看记录的日志： ????1、日志格式样式，已发生改变。做了一定的解析。 ????2、其他的 Module 使用方法，参考官方文档。

九：Metricbeat 入门（采集指标数据）（50～52） 1.：Metricbeat 介绍：

?? 1）定义收集，操作系统或应用服务的指标数据。 ?? 2）存储到 Elasticsearch 中，进行实时分析。

2.：Metricbeat 组成：Metricbeat 由两部分组成：（Module & Metricset）

?? 1）Module：收集的对象，如：mysql、redis、nginx、操作系统。 ?? 2）Metricset：收集指标的集合，如：cpu、memory、network等。 ?? 以 redis Module 为例，查看是如何收集指标数据的？（其他的也类似）

3.：部署与收集系统指标：

?? 1）下载： ????-1：https://www.elastic.co/downloads/beats/metricbeat ????-2：https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.11.0-linux-x86_64.tar.gz ?? 2）解压：

tar -zxvf metricbeat-7.11.0-linux-x86_64.tar.gz

?? 3）查看配置文件，并修改配置：vim metricbeat.yml

13 metricbeat.config.modules: 14 path: ${path.config}/modules.d/*.yml 93 output.elasticsearch: 94 hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"]

?? 4）启动：

./metricbeat -e

4.：启动后：可以看到指标数据已经被写入到 Elasticsearch

5.：Module 的使用：

?? 1）查看系统级，采集配置文件：（默认开启） ????-1：vim /modules.d/system.yml

6.：Nginx Module 配置

?? 1）查看 / 开启 / 关闭 Nginx module

./metricbeat modules list ./metricbeat modules enable nginx

?? 2）开启 Ngnix module ????-1：在 Nginx 中，需要开启状态查询，才能查询到指标数据： ????-2：重新编译 Nginx

./configure --prefix=/usr/local/nginx --with-http_stub_status_module ./configure --prefix=/usr/local/nginx --with-http_stub_status_module make make install

????-3：查看 Nginx 版本：（大写）

./nginx -V // 应该显示内容如下： nginx version: nginx/1.21.0 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC) configure arguments: --with-http_stub_status_module

????-4：修改 nginx 配置文件：vim conf/nginx.conf

35 server { 36 listen 80; 37 server_name localhost; 38 location /nginx-status { 39 stub_status on; 40 access_log off; 41 }

????-5：重启 Nginx

./sbin/nginx -s stop ./sbin/nginx

?? 3）访问，查询 nginx 状态信息：http://192.168.124.11/nginx-status ?? 4）结果说明： ????-1：Active connections：表示正在处理等活动连接数。 ????-2：server、accepts、handled requests： ????-3：Reading、Writing、Waiting： ?? 5）配置 Nginx Module： ????-1：启用 nginx module

./metricbeat modules enable nginx

????-2：修改配置文件：module.d/nginx.yml

10 hosts: ["http://192.168.124.11:80"] //和访问 Nginx 控制台配置路径相同 13 server_status_path: "nginx-status"

????-3：启动

./metricbeat -e

?? 6）控制台：

十：Kibana 入门（53～57） Kibana 介绍

?? 1）官网介绍：https://www.elastic.co/cn/kibana/ ?? 2）讲义介绍： ????-1：Kibana：是一款开源的数据分析和可视化平台，它是 Elastic stack 成员之一，设计用于和 Elasticseatch 协作。 ????-2：您可以使用 Kibana，对 Elasticsearch 索引中的数据，进行搜索、查看、交互等操作。 ????-3：也可以很方便的，利用图表、表格以及地图，对数据进行多元化的分析和呈现。

1.：Kibana 配置安装

?? 1）下载，解压安装包https://artifacts.elastic.co/downloads/kibana/kibana-7.11.0-linux-x86_64.tar.gz

tar -zxvf kibana-7.11.0-linux-x86_64.tar.gz

?? 2）修改配置文件：vim config/kibana.yml

// 修改对外暴露服务的地址 7 server.host: "192.168.124.11" // 配置 Elasticsearch（6.x版本可能为注释内容） // elasticsearch.url: "http://192.168.124.11:9200" 32 elasticsearch.hosts: ["http://192.168.124.11:9200"]

?? 3）启动：（需要切换非 root 用户）

./bin/kibana

?? 4）浏览器进行访问：http://192.168.124.11:5601

2：功能说明：

3.：Discover：数据探索

?? 1）首先添加索引信息： ?? 2）刷新 Discover，会出现数据：

4.：Metricbeat 仪表盘

?? 1）可以将 Metricbeat 的数据，在 Kibana 中，使用仪表盘方式展示： ?? 2）Metricbeat 中的配置操作： ????-1：修改 metricbeat 配置：vim metricbeat.yml

61 setup.kibana: 67 host: "192.168.124.11:5601"

????-2：安装仪表盘到 Kibana：（要确保 Kibana 处于运行状态）（速度慢）

./metricbeat setup --dashboards // 安装成功提示 Loading dashboards (Kibana must be running and reachable) Loaded dashboards

????-3：启动 Metricbeat，使之不断产生数据：

./metricbeat -e 5.1：System 指标仪表盘（Metricbeat）

5.2：Nginx 指标仪表盘（Metricbeat）

6.：Nginx 日志仪表盘（Filebeat）

?? 1）修改配置文件：vim itcast-nginx.yml

1 filebeat.inputs: 2 #- type: log 3 # enabled: true 4 # paths: 5 # - /usr/local/nginx/logs/access.log 6 # tags: ["my-nginx"] 7 setup.template.settings: 8 index.number_of_shards: 3 9 output.elasticsearch: 10 hosts: ["192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"] 11 12 filebeat.config.modules: 13 path: ${path.config}/modules.d/*.yml 14 reload.enabled: false /* 新增：*/ 15 setup.kibana: 16 host: "192.168.124.11:5601"

?? 2）filebeat 安装仪表盘到 kibana中（慢）

./filebeat -c itcast-nginx.yml setup // 响应打印： Overwriting ILM policy is disabled. Set `setup.ilm.overwrite: true` for enabling. Index setup finished. Loading dashboards (Kibana must be running and reachable)

?? 3）启动 filebeat：

./filebeat -e -c itcast-nginx.yml

?? 3）访问 Kibana，查看日志仪表盘：搜索：Filebeat Nginx Overview

7.：自定义图表

?? 1）在 Kibana 中，也可以进行自定义图表，如制作柱形图。

8.：开发者工具（Dev Tools）

十一：LogStash 入门（58～60） 1.：Logstash 入门 & 简介

?? 1）简介： ????-1：官网：https://www.elastic.co/cn/logstash/ ?? 2）用途：输入 -> 处理 -> 输出

2.：Logstassh 部署安装 & demo：

?? 1）检查 JDK 环境，要求 1.8（因为 Logstash 是 java 开发的）

java -version

?? 2）下载 & 解压安装包：

// 下载：https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz tar -zxvf logstash-7.10.0-linux-x86_64.tar.gz

?? 3）第一个基本 Logstash 示例演示：启动很慢，java写的，需先启动虚拟机。

./bin/logstash -e 'input { stdin { } } output { stdout {} }'

?? 4）执行效果如下：输入 hello，输出 json

hello { "message" => "hello", "@timestamp" => 2022-02-25T11:04:02.760Z, "host" => "localhost", "@version" => "1" } 3.：配置详解：（3 部分）

?? 1）input：输入： ????-1：采集各种样式、大小和来源的数据。数据往往以各种各样的形式，或分散、或集中的，存在于很多系统中。 ????-2：Logstash 支持各种输入选择。可以在同一时间，从众多常用来源捕捉事件。 ????-3：能够以连续的流式传输方式，轻松的从您的日志、指标、Web应用、数据存储，以及各种 AWS 服务采集数据。 ?? 2）filter：过滤（重要）：对数据进行分割、截取等处理： ????-1：实时解析和转换数据。 ????-2：数据从源，传输到存储库的过程中。Logstash 过滤器能够解析各个事件，识别已命名的字段，以构建结构。 ????-3：并将它们转换成为通用格式，以便更轻松、跟快速的分析和实现商业价值。 ?? 3）output：输出 ????-1：Logstash 提供众多输出选择，您可以将数据，发送到您指定的地方，并且能够灵活的解锁众多下游用例。

4.：读取自定义日志 & 解析处理：

?? 1）说明： ????-1：前面我们通过 Filebeat，读取了 Nginx 的日志，如果是自定义结构的日志，就需要读取处理后，才能使用。 ????-2：所以，这个时候就需要使用 Logstash 了。因为 Logstash 有着强大的处理能力，可以应对各种各样的场景。 ?? 2）日志结构： ????-1：可以看到，日志中的内容，是使用“｜”进行分割的，使用，我们在处理时候，也需要对数据做分割处理。 ?? 3）编写配置文件：vim itcast-pipeline.conf

input { file { 读取来源是一个文件 path => "/itcast/logstash/logs/app.log" 读取这个日志文件 start_position => "beginning" 从日志文件开头，开始读取 } } filter { 过滤： mutate { split => {"message" => "|"} 拿到 message 数据，用 “｜”进行分割 } } output { stdout { codec => rubydebug } 标准的控制台输出 }

?? 4）创建对应的日志文件：

mkdir -p /itcast/logstash/logs/app.log

?? 5）启动：

./bin/logstash -f itcast-pipeline.conf

?? 6）追加写日志，到文件：（另一个控制台）

echo "20190-02-02 21:21:21|ERROR|读取文件出错｜参数：ID= 18" ->> app.log

?? 7）查看效果：（捕获数据，并对字符串进行了分割）

5.：实战使用：输出到 Elasticsearch：

?? 1）修改配置文件：vim itcast-pipeline.conf

input { file { path => "/itcast/logstash/logs/app.log" # type => "system" start_position => "beginning" } } filter { 过滤： mutate { split => {"message" => "|"} 拿到 message 数据，用 “｜”进行分割 } } output { elasticsearch { hosts => {"192.168.124.11:9200","192.168.124.12:9200","192.168.124.13:9200"} } }

?? 2）启动：Logstash

./bin/logstash -f ./itcast-pipeline.conf

?? 3）写入数据：

echo "20190-02-02 21:21:21|ERROR|读取文件出错｜参数：ID= 18" ->> app.log

?? 4）查看 Elasticseatch 的 Kibana 控制台数据：

十二：Elastic Stack 综合练习 & 总结（61～65）

????下面，我们将前面，学习到的【Elasticsearch + Logstash + Beats + Kibana】整合起来。做一个综合性的练习。 ????目的：就是让学生们，更加深刻的理解 Elastic Stack 的使用。

1.：流程说明：

?? 1）图示： ?? 2）解释：（日志格式、图表、Dashboard 都是自定义的） ????-1：应用 APP 生产日志，用来记录用户的操作： ????-2：通过 Filebeat 读取日志文件中的内容。并且将内容，发送给 Logstash，原因是需要对内容进行处理。 ????-3：Logstash 接收到内容后，进行处理。如分割操作。然后将内容发送到 Elasticsearch 中。 ????-4：Kibana 会读取 Elasticsearch 中的数据。并且在 Kibana 中，进行设计 Dashboard，最后进行展示。

2.：APP 介绍：

?? 1）说明：APP 在生产环境中，应该是真实的系统，然而，我们现在仅是学习，为了简化操作，所以就做数据的模拟生成即可。业务代码如下：

@Data @RestController public class test { private static final Logger logger = LoggerFactory.getLogger(test.class); @RequestMapping(value = "/hhh") public void hello() throws InterruptedException { while (true) { LocalDateTime now = LocalDateTime.now(); String format = now.format(DateTimeFormatter.ISO_LOCAL_DATE_TIME); String result = "开始｜" + format + "｜日志｜" + "｜结束"; Thread.sleep(2000); logger.info(result); } } }

?? 2）将 app 打成 jar 包，放置服务器上并启动：

java -jar xxx.jar java -jar xxx.jar & -- 后台打印生成

?? 3）查看生成日志文件：

3.：Filebeat：

?? 1）修改 Filebeat 配置文件：vim itcast-dashboard.yml

1 filebeat.inputs: 2 - type: log 3 enabled: true 4 paths: 5 - /app/testapollo/*.log 6 setup.template.settings: 7 index.number_of_shards: 3 // 日志输出到 Logstash 8 output.logstash: 9 hosts: ["192.168.124.11:5044"]

?? 2）启动 Filebeat：（需要先启动 Logstash 后）

./filebeat -e -c itcast-dashboard.yml 4.：Logstash：

?? 1）编辑 Logstash 配置文件：vim itcast-dashboard.conf

// 简单的版本，控制台打印，测试是否联通 // （logstash 控制台会打印数据） 1 input { 2 beats { 3 port => "5044" 4 } 5 } 6 7 filter { 8 mutate { 9 split => { "message" => "|" } 10 } 11 } 12 13 output { 14 # stdout { 15 # codec => rubydebug 16 # } 17 elasticsearch { 18 hosts => [192.168.124.11:9200] 19 } 20 }

?? 2）启动 es、Logstash、filebeat：

./bin/logstash -f itcast-dashboard.conf ./filebeat -e -c itcast-dashboard.yml

?? 3）使用插件 / kibana，查询保存到 es 的字段： ?? 4） ?? 5） ?? 6） ?? 7）

5.：Kibana：

????-1：启动 Kibana & 通过浏览器进行访问：

./bin/kibana http://192.168.124.11:5601

????-2：添加 Logstash 索引，到 Kibana 中。 ?? 1）时间间隔的柱形图： ?? 2）各个操作的饼图分布： ?? 3）数据表格： ?? 4）制作 DashBoard：

6.：课程总结：

?? 1） ????-1：