从0开始CentOS7上安装ELK，实现日志收集

从0开始CentOS7上安装ELK实现日志收集

• 1. ELK Stack 简介
• 2. 组件下载
• • 2.1 安装环境及版本
  • 2.2 下载安装包
• 3.安装
• • 3.1 ElasticSearch安装
  • • 3.1.1 安装JDK
    • 3.1.2 安装ElasticSearch
    • 3.1.3 设置data的目录
    • 3.1.4 设置log的目录
    • 3.1.5 修改配置文件elasticsearch.yml
    • 3.1.6 启动elasticsearch
    • 3.1.7 安装ElasticSearch-Head插件
    • • 3.1.7.1 安装nodejs、rpm 、git
      • 3.1.7.2 下载并安装elasticsearch-head
      • 3.1.7.3 修改es-head的localhost地址
      • 3.1.7.4 修改head的连接地址
      • 3.1.7.5 启动elasticsearch-head
  • 3.2 Logstash安装
  • • 3.2.1 安装logstash
    • 3.2.2 设置data的目录
    • 3.2.3 设置log的目录
    • 3.2.4、设置conf.d的目录，创建配置文件
    • 3.2.5 修改配置文件logstash.yml
    • 3.2.6 启动logstash
    • 3.2.8 logstash指定配置进行运行
  • 3.3 kibana安装
  • • 3.3.1 安装kibana
    • 3.3.2 修改kibana.yml
    • 3.3.3 启动kibana
  • 3.4 配置nginx
  • • 3.4.1 安装nginx和http用户认证工具
    • 3.4.2 修改nginx配置
  • 3.5 Filebeat安装
  • • 3.5.1 安装filebeat
    • 3.5.2 启动kibana
    • 3.5.3 修改配置Filebeat
    • 3.5.4 登录kibana，创建索引，并且搜集数据
• 4. 收集应用日志Demo
• • 4.1 修改filebeat.yml配置文件
  • 4.2 修改logstash.conf配置文件
  • 4.3 测试修改的logstash.conf配置文件
  • 4.4 重启相关服务
  • 4.5 登录kibana，创建索引

1. ELK Stack 简介

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

• Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
• Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
• Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；
• Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

2. 组件下载

2.1 安装环境及版本

2.2 下载安装包

建议把所需安装包手动通过下载工具下载下来，点击进入下载页面，快速下载通道：Elasticsearch、 Logstash、 Kibana、 Filebeat 。

将手动下载的安装包上传至安装机器

3.1.2 安装ElasticSearch

进入到对应上传的文件夹，安装ElasticSearch

查找安装路径：

一般是装在/usr/share/elasticsearch/下。

3.1.3 设置data的目录

创建/data/es-data目录，用于elasticsearch数据的存放

修改该目录的拥有者为elasticsearch

3.1.4 设置log的目录

创建/data/es-log目录，用于elasticsearch日志的存放

修改该目录的拥有者为elasticsearch

3.1.5 修改配置文件elasticsearch.yml

修改如下内容：

3.1.6 启动elasticsearch

启动

查看状态

设置开机启动

启动成功之后，测试服务是否开启

返回如下信息，说明安装、启动成功了

3.2 Logstash安装

3.2.1 安装logstash

3.2.2 设置data的目录

创建/data/ls-data目录，用于logstash数据的存放

修改该目录的拥有者为logstash

3.2.3 设置log的目录

创建/data/ls-log目录，用于logstash日志的存放

修改该目录的拥有者为logstash

3.2.4、设置conf.d的目录，创建配置文件

创建配置文件，日志内容输出到elasticsearch中，如下

内容如下：

3.2.5 修改配置文件logstash.yml

内容如下：

# 设置数据的存储路径为/data/ls-datapath.data: /data/ls-data# 设置管道配置文件路径为/etc/logstash/co
来源：逍遥俊子
                                                        
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！