ELK日志分析工具实战

理论

1，什么是日志分析工具，有什么作用
elk日志分析工具是logstash，elasticsearch，kibana开元软件集合，是对日志管理的方案，对任何来源，任何格式进行日志搜索，分析与可视化展示
2，ELK日志分析解析
2.1，logstash解析
这个组件是对体制进行手机，过滤，格式处理，格式化输出将其存储，供之后搜索。
collect：数据输入
enrich：数据加工，
transport：数据输出
shipper：日志收集者，负责监控本地日志文件的变化，以及爸日志文件的最次你内容手机
indexer：日志存储着
broker：日志hub，负责连接多个shipper和多个indexer
search and storage：循序对时间进行收缩和存储
web interface：基于web的展示界面
logstash主机分类：代理主机，作为时间的传递着，将日志数据发送到中心主机
中心主机：可运行中间转发器，索引器，搜索和存储器，web界面端在内的各个组件，实现对日志数据的接受和处理
2.2 elasticsearch解析
是java开发，提供一个分布式多功能的全文搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
核心概念
接近实时：索引一个文档知道这个文档能够被搜索到有一个轻微的延迟
集群：共同持有整个数据，并且一起提供索引和搜索功能，一个节点为主节点，主节点由选举产生，并且提供跨及诶单的联合搜索功能，
节点：是集群的一部分，存储数据并且参与集群的索引和搜索功能
索引：一个索引就是一个拥有积分相似特征的文档集合，比如说，客户数据的索引，产品目录的索引，订单数据的索引，索引相当于关系型数据库中的库
类型：在一个索引中，定义一个或多个类型，一个类型是索引的一个逻辑分类，，类型相当于干洗数据库中的表
文档：文档是一个可被索引的基础单元，相当于数据库中的表
分片：索引储存数据肯能出行超过单个节点的硬件限制，索引elasticsearch提供将索引分成多个分片的功能，每个跟拍就是一个全功能独立的索引，可以位于集群的任何节点多行。
2.3 kiabana解析
是一个针对elasticsearch的开源可视化平台，用来索索，查看交互存储在索引中的数据。
适应kibana，可以通过图片进行高级数据分析与展示，海量的数据更容易理解。操作简单
主要功能：elasticsearch无缝值集成，可以将结构化和给结构化的数据假日elasticsearch索引中，利用elasticsearch强大的分析功能
整合数据
复杂数据分析
让更多团队成员收益
接口灵活
配置简单
可视化多数据源
简单数据导出