Win10 十分钟搭建ELK6.3
本教程的目的是为了没有学过elk，但想体验elk的魅力的人准备的。可以在先不了解ELK Stack的情况下，咱们先学会骑自行车再去了解自行车的原理，就会简单很多。
如果有人对本教程感兴趣的话，后期本人想在单独开些模块，让人快速掌握elasticsearch语法和logstash的配置说明。让更多人少走点弯路。
Elasticsearch: Elasticsearch 是一个分布式的RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据(它就是一个数据库，有自己查询语法和存储方式)
Kibana :让您能够可视化 Elasticsearch中的数据并操作 Elastic Stack
Logstash:开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中
Packetbeat: Packetbeat 是一款轻量型网络数据包分析器，能够将数据发送至 Logstash 或 Elasticsearch。
架构图：
安装步骤
下载Elasticsearch、Kibana、Logstash、Packetbeat 下载同一版本6.3.0，因为不同版本可能会导致不兼容
分别配置好他们各自的config配置（一般Elasticsearch、Kibana默认就好）
启动elasticsearch.bat
启动kibana.bat
启动elasticsearch 另一台：
bin/elasticsearch-Ecluster.name=sniff_search -Ehttp.port=8200 -Epath.data=sniff
启动Kibana另一台：
bin/kibana -e http://127.0.0.1:8200 -p 8601
注意：监控的集群是9200端口和5601 不能是一个集群，否则会进入抓包死循环
其中logstash的config文件如下：beats_es.conf
input {
beats {
port => 5044
}
}
filter {
if "search" in [request]{
grok {
match => { "request" =>".*\n\{(?<query_body>.*)"}
}
grok {
match => { "path" =>"\/(?<index>.*)\/_search"}
}
if [index] {
} else {
mutate {
add_field => { "index" => "All"}
}
}
mutate {
update => { "query_body" =>"{%{query_body}"}}
}
}
output {
if"search" in [request]{
elasticsearch {
hosts =>"127.0.0.1:8200"
}
}
}
packetbeat的packetbeat.yml如下：
packetbeat.interfaces.device: 3
packetbeat.protocols.http:
ports: [9200]
send_request: true
include_body_for: ["application/json","x-www-form-urlencoded"]
output.logstash:
hosts:["127.0.0.1:5044"]
之后启动logstash，其中beats_es.conf是上面配置的文件
logstash -f beats_es.conf
启动packetbeat
packetbeat.exe -e -c packetbeat.yml-strict.perms=false
如果启动不成功：
--查看网口
packetbeat.exe devices
window有可能检测不到回环网口
Packetbeat is unable to capture trafficfrom the loopback device (127.0.0.1 traffic) because the Windows TCP/IP stackdoes not implement a network loopback interface, making it difficult forWindows packet capture drivers like WinPcap to sniff traffic.
请下载：NPCAP
- Npcap 0.99-r7 installer for Windows Vista/2008, 7/2008R2, 8/2012, 8.1/2012R2, 10/2016 (x86 and x64).
安装的时候注意看有没有提示：因为必须要确保在WiPCAP API兼容模式下安装Npcap（/Win PopCopyMead＝yes），否则Packetbeat将无法找到所需的DLL。安装NPCAP后，重新启动Windows。
如果有，请先卸载WiPCAP/10 WiPCAP,之后再安装岂可。
Kibana的使用
其中index就是数据库的意思
- 菜单Management,可以新建Create Index Pattern，对应到Elasticsearch 的index
- 菜单Discover，可以查看对index的请求情况，并且可以进行字段的检索
- 菜单Visualize，可以针对index新建不同图表分析，饼图、柱状图什么的
- 菜单Dashboard，可以针对Visualize，这些图放在dashboard上会”实时“刷新的。
参考文档
https://es.xiaoleilu.com es中文文档