ELK搭建教程(全过程)
一、使用背景
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时
二、环境
系统:centos 6.5
JDK:1.8
Elasticsearch
Logstash
kibana
三、安装
1、安装JDK
下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
本环境下载的是64位tar.gz包,将安装包拷贝至安装服务器/usr/local目录
[[email protected] ~]# cd /usr/local/
[[email protected] local]# tar -xzvf jdk-8u111-linux-x64.tar.gz
配置环境变量
[[email protected] local]# vim /etc/profile
将下面的内容添加至文件末尾(假如服务器需要多个JDK版本,为了ELK不影响其它系统,也可以将环境变量的内容稍后添加到ELK的启动脚本中)
JAVA_HOME=/usr/local/jdk1.8.0_111
JRE_HOME=/usr/local/jdk1.8.0_111/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export JRE_HOME
[[email protected] local]# source /etc/profile
配置limit相关参数
ulimit -u 4096
[[email protected] local]# vim /etc/security/limits.conf
添加以下内容
* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536
创建运行ELK的用户
创建elsearch用户组及elsearch用户
groupadd elk
useradd elk -g elk -p vagrant
更改elasticsearch-6.4.2文件夹及内部文件的所属用户及组为elk:elk
cd切换到elasticsearch-6.4.2的父路径下
chown -R elk:elk elasticsearch-6.4.2
切换到elk用户再启动
su elk
cd elasticsearch-6.4.2/bin
sh elasticsearch &
关闭防火墙:
[[email protected] ~]# iptables -F
以上全部是root用户完成
2、安装ELK
先安装jdk1.8,在centos7.4里面,直接yum install tomcat就行,会自动安装好tomcat和jdk1.8,完了java -version看下版本
elk下载地址
https://www.elastic.co/cn/
以下由elk用户操作
以elk用户登录服务器
下载ELK安装包: https://www.elastic.co/downloads 并上传到服务器且解压,解压命令 tar -xzvf 包名
配置Elasticsearch
解压后进入config目录:cd elasticsearch-6.4.2/config,vim elasticsearch.yml 修改配置文件,在最下面加入如下几行:
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
启动
./opt/elasticsearch-2.3.4/bin/elasticsearch &
至此,elasticsearch配置启动完毕,可以在浏览器输入url: 服务器外网ip:9200 查看是否成功启动:
3 、kibana配置启动
按照上面的操作,可以先切回root用户了:su root 需要输入root密码
然后cd kibana-6.4.2-linux-x86_64/config/ 进入kibana的配置文件夹,
vim kibana.yml 编辑配置文件,在最后面加上如下配置就行:
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"
kibana.index: ".kibana"
cd命令进入bin目录,
sh kibana & 启动kibana
启动完毕,可以浏览器输入url: 服务器外网ip:5601 查看是否成功启动:
4 logstash配置启动
现在可以配置logstash了
cd logstash-6.4.2/bin/进入bin目录
新建文件 vim logstash1.conf ,写入内容(监听tomcat的日志):
input {
file {
path => "/usr/share/tomcat/logs/*.log"
start_position => beginning
}
}
filter {
}
output {
elasticsearch {
hosts => "localhost:9200"
}
}
启动logstash:sh logstash -f logstash1.conf &
如果提示–path.data的问题,则需要指定path.data的路径,随便找个路径就行,
我的是这样启动:sh logstash -f logstash1.conf --path.data=/home/elk/logstash-6.4.2/logs &
完了可以看到kibana上面有logstash推送过去的日志了