ELK(EasticSearch logstash Kainna)介绍，下载安装

ELK
       日志收集、存储、可视化一套组件
      1、批量分析 2、数据集关联 3、生成图标进行显示 4、报警
ElasticSearch 
       易于部署，
       竖直和水平可进行伸缩  
       API易于使用，
       多与大多数编程/脚本语言都可以模块化
       好的在线文档
       免费

logstash

        类似flume，收集日志

Kibana

        可视化（类似R语言）

FileBeat

         类似于flume 的apooldir组件

 

 ELK的关系
  ---->LEK
  logstash（collection）-->Elasticsearch（storage+index+search） ------>kinbana
   flume                          -->kafka                                                         ------>R语言

 

这篇文章概念讲的挺好

https://www.cnblogs.com/kevingrace/p/5919021.html 

 

正题--下载安装

 https://www.elastic.co/cn/products/

 

 最新版本7.1.0，下载直接用。。。

1、先装elasticSearch 

    这个是ELK中的核心，启动的时候注意es不可以进行root账户启动，所以需要开启一个elsearch账户。

groupadd elsearch                   #新建elsearch组
useradd elsearch -g elsearch -p elasticsearch  #新建一个elsearch用户
chown -R elsearch:elsearch  ./elasticsearch    #指定elasticsearch所属elsearch组

但是启动的时候报错

 

 所以需要给目录赋权限

 chown -R 用户名:用户名  文件（目录）名

 然后启动在日志中看到开启了9200，9300端口。

 

2、再配置logstash

     解压完之后，我们到config目录中新建一个logstash.conf配置。

 主要是input ，filter，output三大块， 其中input是吸取logs文件下的所有log后缀的日志文件，filter是一个过滤函数，这里不用配置，output配置了导入到hosts为127.0.0.1:9200的elasticsearch中，每天一个索引。

input {
     file {
        type => "log"
        path => "/logs/*.log"
        start_position => "beginning"
    }
}

output {
  stdout {
   codec => rubydebug { }
  }

  elasticsearch {
    hosts => "127.0.0.1"
    index => "log-%{+YYYY.MM.dd}"
  }
}

 

配置完了之后，我们就可以到bin目录下启动logstash了，配置文件设置为conf/logstash.conf，从下图中可以看到，当前开启的是9600端口。

 

 

3、kibana

    它的配置也非常简单，你需要在config下kibana.yml文件中指定一下你需要读取的elasticSearch地址和可供外网访问的bind地址就可以了。

vim kibana.yml

elasticsearch.url: "http://localhost:9200"

server.host: 0.0.0.0

 然后启动从日志中可以看到5601端口

http://192.168.15.107:5601/ 你就可以打开kibana页面了 ，END！